Парсинг сайта. Как правильно реализовать много успешных запросов?

Здравствуйте, нужно парсить сайт. На этом сайте есть много ссылок и в каждой ссылке при переходе отображается полная информация. Данные меняются каждую секунду на сайте. Но мне достаточно интервал обновления 7 секунд.
То есть, если на сайте 100 ссылок. То мне нужно обойти каждую ссылку, чтобы получить всю информацию. И так каждые 7 секунд. То есть количество запросов очень большое. И сервер через некоторое большой промежуток времени меня блокирует(30-40 минут). Я понимаю, что я поступаю плохо, но хочется работу закончить:)

Вижу несколько способов решения этой проблемы:
1. Найти возможность скачивать один раз всю информацию за один запрос(API, общая страница). Такого я не нашел на данном ресурсе.

2. Использовать прокси. Здесь появилась проблема, они очень медленно работают. И их нужно по идее больше 10 на такое количество. Есть идея приобрести сервера и использовать их в качестве proxy

Прокси самый выгодный вариант, как мне кажется. Только я не могу реализовать, чтобы обновлялась с сайта через каждое определенное время. Могли бы Вы мне помочь? Может есть еще какие-либо варианты реализации этой проблемы. И если прокси - это единственный вариант. То как мне лучше реализовать этот алгоритм и вообще что почитать на эту тему. Спасибо!:) Пользуюсь Python 3
  • Вопрос задан
  • 742 просмотра
Решения вопроса 2
Jump
@Jump
Системный администратор со стажем.
Купите прокси- нормальные купленные прокси работают быстро в отличии от бесплатных.
Хотя можно пользоваться и бесплатными.
Ответ написан
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
Данные меняются каждую секунду на сайте.
Может проще посмотреть: как они меняются ajax/long-pull/web-socket и подключиться к мониторингу без запросов всей страницы целиком?
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы