Какие инструменты для администрирования парсинга сайтов существуют?

Всем привет!

Подскажите, пожалуйста, в какую сторону копать, что почитать для организации администрировании множества скриптов для парсинга сайтов (более 50)?
  • Вопрос задан
  • 2910 просмотров
Решения вопроса 1
@Nil3
Здесь уже писали о scrapy
Команда этого проекта запустила платформу https://scrapinghub.com - панель управления и мониторинг спайдеров
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
dimonchik2013
@dimonchik2013
жизнь прекрасна в Амстердаме, а в Воронеже gаvно
классика же

есть альтернатива от китайских товраищей, но самому с Скрапи лучше
Ответ написан
@screen_sailor
The Screen Is Not Enough
Crawl and monitor +1000 websites
https://stackoverflow.com/questions/19618735/crawl...

И вот что-то подобное, судя по описанию - The Crawler dashboard view shows you a much more in depth view of your current Scrapy Crawlers. Here you see breakdowns of response codes, machine load balances, and successful outbound Kafka messages.
scrapy-cluster.readthedocs.io/en/latest/topics/adv...
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы