@irekbikmullin

Как правильно парсить интернет-магазины для мониторинга цен?

Нужно регулярно парсить интернет магазины для мониторинга цен.Сайтов около 10,а товаров 500 000.Если парсить 1 страницу раз в 1 секунду,то в день можно обойти максимум 84400 товаров.Чтобы обойти все товары потребуется минимум 6 дней.Будет ли уместно увеличить количество запросов и не будет ли это лишней нагрузкой на сайт?Сайты не предоставляют xml каталоги и api.Как с этим справляются сервисы мониторинга цен?Может кто-то с этим сталкивался или знает где можно об этом почитать?
  • Вопрос задан
  • 207 просмотров
Пригласить эксперта
Ответы на вопрос 2
Grinvind
@Grinvind
Помогаю увеличивать трафик с поисковых систем
Jump
@Jump
Системный администратор со стажем.
Будет ли уместно увеличить количество запросов и не будет ли это лишней нагрузкой на сайт?
Зависит от сайта - для некоторых это не критично, некоторые сайты может и положить большая нагрузка, некоторые вас тупо занесут в блэклист.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
19 окт. 2019, в 02:31
3500 руб./за проект
19 окт. 2019, в 01:07
60000 руб./за проект
18 окт. 2019, в 23:45
150000 руб./за проект