@fvckdeadline

Как получить html страницы, защищенного от парсинга сайта?

При открытии исходного кода страницы: https://www.off---white.com/en/RU/section/new-arrivals в браузере отображается корректный html.
При отправке http get запроса с использованием user-agent, html блокируется и выводится непонятный скрипт на всех страницах сайта одинаковый, за исключением куки
Python:
headers= {"User-Agent":"Mozilla/5.0 (iPhone; CPU iPhone OS 12_3_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Mobile/15E148 Safari/604.1"}
url = 'https://www.off---white.com/en/RU/section/new-arrivals'
r = requests.get(url, headers=headers)
print(r.text)

Возможно защита связана с cdn cloudflare или variti. Как можно обойти защиту и получить доступ к html?
  • Вопрос задан
  • 466 просмотров
Пригласить эксперта
Ответы на вопрос 1
dimonchik2013
@dimonchik2013
Только верой, любовью, трудом и медикаментами...
Selenium юзай

там JS / metarefresh проверка, requests не справится
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Aurora Infinity Москва
от 200 000 до 250 000 руб.
от 120 000 до 170 000 руб.
Константа Москва
от 140 000 до 250 000 руб.