Как обойти блокировку при парсинге?

Имеется сайт auto.ru. При парсинге меня блокирует сайт. 5a16790751486790197819.jpeg

С помощью urllib.request.Request передаю заголовок User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5

Причем, если через обычный браузер зайти на сайт нет блокировки (т.е. не по ip). Как выяснить, что блокирует?
  • Вопрос задан
  • 1673 просмотра
Решения вопроса 1
fox_12
@fox_12 Куратор тега Python
Расставляю биты, управляю заряженными частицами
Проверьте заголовок который отправляет броузер при запросе к сайту. Используйте такой же заголовок у себя в скрипте.
Используйте куки.
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
teke_teke
@teke_teke
programador
используйте selenium
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы