Как правильно парсить интернет-магазины для мониторинга цен?
Нужно регулярно парсить интернет магазины для мониторинга цен.Сайтов около 10,а товаров 500 000.Если парсить 1 страницу раз в 1 секунду,то в день можно обойти максимум 84400 товаров.Чтобы обойти все товары потребуется минимум 6 дней.Будет ли уместно увеличить количество запросов и не будет ли это лишней нагрузкой на сайт?Сайты не предоставляют xml каталоги и api.Как с этим справляются сервисы мониторинга цен?Может кто-то с этим сталкивался или знает где можно об этом почитать?
что за сайты-то? если общеизвестные, то есть сервисы, где свежие прайсы в выкладке ежеденевно!
с другой стороны,если магазины малоизвестные, то на кой ляд они вам сдались? тем более что скорее всего они уже сами где-то парсят)))