@irekbikmullin

Как правильно парсить интернет-магазины для мониторинга цен?

Нужно регулярно парсить интернет магазины для мониторинга цен.Сайтов около 10,а товаров 500 000.Если парсить 1 страницу раз в 1 секунду,то в день можно обойти максимум 84400 товаров.Чтобы обойти все товары потребуется минимум 6 дней.Будет ли уместно увеличить количество запросов и не будет ли это лишней нагрузкой на сайт?Сайты не предоставляют xml каталоги и api.Как с этим справляются сервисы мониторинга цен?Может кто-то с этим сталкивался или знает где можно об этом почитать?
  • Вопрос задан
  • 263 просмотра
Пригласить эксперта
Ответы на вопрос 2
Grinvind
@Grinvind
Помогаю увеличивать трафик с поисковых систем
Jump
@Jump
Системный администратор со стажем.
Будет ли уместно увеличить количество запросов и не будет ли это лишней нагрузкой на сайт?
Зависит от сайта - для некоторых это не критично, некоторые сайты может и положить большая нагрузка, некоторые вас тупо занесут в блэклист.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы