RomanDillerNsk
@RomanDillerNsk
JavaScript

Как лучше реализовать бота для скраппинга?

Коллеги, доброго времени суток, для успокоения души так сказать хочу услышать ваше мнение, на тему как лучше реализовать бота для скраппинга?

Есть по сути 2 варианта, первый это chrome extension, а второй использовать puppeteer (или аналоги). Основные вопросы производительность, масштабируемость, реализация служебных функций (логирование, gif ролики выполнения команды, перезагрузка страниц из открытых в браузере, работа на unix сервере ...) и так далее.

Задачи у ботов простые, бот запущен, подключается по ws к серверу для приема сообщений с командами, открыли страницу, авторизовались, ждать команды от сервера, пришла команда, зашли в раздел, нашли блок кликнули куда нить и вытащили какую-то инфу (не суть важно какую). Если страница долго не отвечает то перезапустить ее или выключить.

Что будет быстрее работать, расширение или nodejs процесс запущенный? Расширение работает в контексте браузера, в котором запущено, насколько я понимаю, значит он медленнее, + прокси! Опять же ws сообщения будут лететь через прокси или будет отдельный канал?

Сайты прожорливые все.

Ну и вообще ваше мнение и обоснование, какое-то)))

Буду благодарен всем комментариям.
  • Вопрос задан
  • 37 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы