@Ocean_77

Почему при парсинге данных вылетает ошибка 404?

Пытаюсь вытянуть данные с одного сайта.
Доступ к данным доступен только после авторизации, соответственно приходится запоминать куки.
Но, при попытке отправить запрос возвращается вот такая страница.
5ce3007c358b3065764388.png
Однако, как только я открываю эту же ссылку в браузере запрос спокойно проходит и возвращает то что нужно.
В парсере все заголовки точно такие же, как и в обычном запросе из браузера, включая юзер агент.
Кто-нибудь знает в чем тут может быть дело?

P.S. Пример кода запроса
import requests

def main():
    h = {'Cookie': 'cookname=fsink; cookid=9a465629c4b5460bfe473034a6ec03e0; php_session_id_real=3lqqoquddfbjeosj7qfuilgon',
         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0',
         'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
         'Accept-Encoding': 'gzip, deflate',
         'Accept-Language': 'ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3',
         'Cache-Control': 'no-cache',
         'Connection': 'keep-alive',
         'DNT': '1',
         'Host': 'somesite.ru',
         'Pragma': 'no-cache',
         'Upgrade-Insecure-Requests': '1'}

    r = requests.get('http://somesite.ru/store/index.php', headers=h)

    with open('question.txt', 'w') as f:
        f.write(r.text)


if __name__ == "__main__":
    main()

  • Вопрос задан
  • 594 просмотра
Решения вопроса 1
dimonchik2013
@dimonchik2013
non progredi est regredi
бери фидлер

или тестируй на https://httpbin.org/ твой код, смотри что получает сервер

такие заголовки
'Cache-Control': 'no-cache',
         'Connection': 'keep-alive',
         'DNT': '1',
         'Host': 'somesite.ru',


не настраиваются в коде вообще никогда
ну, может, 1-2 из них теоретически можно настроить ( но не нужно), но это точно не Host

только заметил:

про куки в заголовках - очень смешно
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
@Fedor19
cookid=9a465629c4b5460bfe473034a6ec03e0;
Похоже, что кука шифрованная. Может дело в этом?
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы