bogdan_uman
@bogdan_uman
шлЫмазл неукЪ-поцЪ

Парсер сайта с прокси?

Здравствуйте. Посоветуйте, что лучше всего заюзать.
Нужно сделать парсер для сайта, но чтобы спарсить, нужно кнопочки нажимать. Куки не нужны, но нужно динамическое переключение прокси (чтобы сайт не забанили).
Спасибо.
  • Вопрос задан
  • 429 просмотров
Пригласить эксперта
Ответы на вопрос 3
@Lobanov
Если знакомы с Python'ом, можете заюзать связку Python + Scrapy + Splash + Proxy - получится весьма мощная система, которая умеет все что вам нужно, от парсинга простых сайтиков, до сайтов, которые работают с front-end фреймворками.
Ответ написан
Jump
@Jump
Системный администратор со стажем.
но что бы спарсить нужно кнопочки нажимать?
Безголовый браузер нужен.
Можно selenium webdriver.

нужно динамическое переключение прокси (что бы сайт не забанил)
Ну так в скрипте которым парсить будете добавьте строчку смены прокси, и все.
Ответ написан
Можно использовать обычные запросы на python с обвязкой с tor если кнопочки не нужно нажимать, а так если сайт требует полноценной работы то как сказали выше selenium webdriver. Из минусов selenium-a могу выделить пока что только ограниченную эмуляцию ввода/вывода/интерактива с веб страницей. Возможно это так оптимизация работает, но в этом точно есть минус.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы