MicroTimer
@MicroTimer
Начинающий программист малолетка

Какую библиотеку использовать для написания парсинга и сайт бота на Python?

Хочу написать бота, который будет отправлять форму поиска на сайте и парсить получившуюся страницу. Какую библиотеку для этого вы посоветуете? (python3)
  • Вопрос задан
  • 1450 просмотров
Решения вопроса 1
Gasoid
@Gasoid
Заточенные под парсинг:
grablib (поддержка прокси, многопоточность, сессии, смена агента, и т.д.)
scrapy

Ну или руками как выше написали:
requests, lxml, soup
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 3
un1t
@un1t
dimonchik2013
@dimonchik2013
non progredi est regredi
pycurl + lxml

если учишь Питон профессионально - scrapy
Ответ написан
Rou1997
@Rou1997
Сперва нужно изучить форму на сайте, если там нет AJAX, то подойдет RoboBrowser (в нем HTTP-запросы и библиотека BeautifulSoup для парсинга HTML), а если есть, то запросы сперва сниффить нужно, отправлять затем через любую HTTP библиотеку, или как вариант Selenium, Phantom.js и т.п.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы