kshnkvn
@kshnkvn
yay ✌️ t.me/kshnkvn

Какие есть альтернативы tor/proxy при парсинге?

Нужно выгрузить ~10.000.000 страниц. В интернете собрал из нескольких источников около 20к более менее живых прокси, хватило на чуть больше 1.000.000 страниц. Подключил тор - спустя 150.000 страниц полетели баны, в итоге скрипт больше времени висит в цикле пересоздавая сессию и пытаясь пробиться через бан.
Собственно сабж - есть-ли какие-то другие способы парсинга, кроме как через тор/прокси?
  • Вопрос задан
  • 1832 просмотра
Решения вопроса 1
@Verz1Lka
Web scraping expert
Потратьте 20 долларов и купите нормальные прокси. Например fine proxy мне помогали в свое время.
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
Jump
@Jump
Системный администратор со стажем.
Покупайте чистые прокси и не будет бана.

есть-ли какие-то другие способы парсинга, кроме как через тор/прокси?
Есть множество способов парсинга, и ни один из них не имеет никакого отношения ни тор, ни к прокси.

Тор и прокси применяют либо для отправки запросов с другого адреса, либо для сокрытия своего IP адреса. К парсингу они никакого отношения не имеют. И используются только для этих целей.
Ответ написан
xPomaHx
@xPomaHx
1vs9
10000000/20000=500
Не о чем цифра, эта страница загружаясь делает 60 запросов. У вас скорее всего баны по другой причине, и эта причина просто фиговые прокси. На паблик проксях я часто замечаю, что они не пускают в русские сайты, а так же русские сайты не пускают с далеких ипшников.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы