Задать вопрос
@Tirel_ly
python

Какие библиотеки использовать, чтобы собирать данные с сайтов?

Есть идея создания скрипта, который собирает данные с сайтов (в основном статистические показатели ) для дальнейшего использования в построении графика.

Какие инструменты и библиотеки мне для этого использовать? Писать планирую на Python.

UPD: Проект для личного развития :)
  • Вопрос задан
  • 614 просмотров
1 комментарий
Подписаться 6 Простой 1 комментарий
Пригласить эксперта
Ответы на вопрос 3
Vlad_IT
@Vlad_IT
Front-end разработчик
1) Самый крутой scrapy
2) Для любителей css query https://lxml.de/cssselect.html
3) Еще довольно мощный beautifulsoup
Ответ написан
6 комментариев
6 комментариев
Terras
@Terras
Python + requests + beatysoup = в одном потоке может херачить примерно 10000 страниц за 15-20 минут.

Если прямо надо автоматизация, потоки и прочее - то уже scrappy
Ответ написан
1 комментарий
1 комментарий
@gpm7315
В большинстве случаев urllib+lxml. Еще grab интересная штука.
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Team Lead (С++, Python)
TopAssistant • Москва
от 400 000 ₽
Python developer
Bell Integrator
До 350 000 ₽
Python developer
Greenway Global • Новосибирск
от 150 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Разработать Telegram Web App
18 апр. 2024, в 13:37
70000 руб./за проект
Подключить авторизацию через Firebase в приложении React Native
18 апр. 2024, в 13:18
20000 руб./за проект
Скрипт по работе с API и записи в MySQL данных (задача на сегодня)
18 апр. 2024, в 13:03
5000 руб./за проект
Ещё заказы