Как получить значение cookie как ответ от сервера?

Question

Герман Мартин @dklight

php кодер - level 2.5

PHP

Как получить значение cookie как ответ от сервера?

Занимаюсь парсингом 1 сайта, получаю данные через курл, в опцию куки пишу значение вида:

'cookie' => 'PHPSESSID=bb8c6955795a7100814d5704687b2280; city_path=moskow; current_path=66b73d920192636...'

Парсится много файлов товаров, порядка нескольких десятков тысяч и вот в определенные моменты времени падает скачивание, получаю ответы от целевого сервера 403 как хтмл и, как следствие, не те данные, которые ожидались.

Дело в куки, который успел за время скачивания (7-9 часов и более) банально устареть и выкачиваются тысячи битых ( файлов с 403 как хтмл) файлов.
Как получаю куки? Отладчик -> Сеть -> заголовки -> cookie

Собственно вопрос, как получить то же самое, но автоматически?

вот так браузер формирует куки, вот это мне и нужно получить

Вопрос задан более трёх лет назад
312 просмотров

22 комментария

Подписаться 1 Простой 22 комментария

DanKud @DanKud

Куки сессии получаете после авторизации или просто при загрузке страницы?

Написано более трёх лет назад
Герман Мартин @dklight Автор вопроса

как я говорил выше, открываю нужные страницу, и через вкладку сеть получаю куки, после вбиваю его в курл

Написано более трёх лет назад
DanKud @DanKud
Используйте в curl_setopt параметры CURLOPT_COOKIEFILE и CURLOPT_COOKIEJAR для сохранения и подключения куки из файла. Таким образом при входе на страницу все куки, которые она отдает, сохранятся у вас в файл и при следующем вызове CURL они автоматически подключатся и точно так же запишутся новые, если будет необходимо.

..... curl_setopt($curl, CURLOPT_COOKIEJAR, 'путь_до_файла'); curl_setopt($curl, CURLOPT_COOKIEFILE, 'путь_до_файла'); .....
Написано более трёх лет назад

Герман Мартин @dklight Автор вопроса

интересный код, но он у меня не заработал:

ob_start();
        {
            $curl = curl_init();
            curl_setopt($curl, CURLOPT_URL, $url);
            curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36");

            if ($cookie !== ''){
                curl_setopt($curl, CURLOPT_COOKIE, $cookie);
            }
            curl_setopt($curl, CURLOPT_REFERER, null);

            $super_cookie_fn = '$super_cookie_fn.cookie';
            curl_setopt($curl, CURLOPT_COOKIEJAR, $super_cookie_fn);
            curl_setopt($curl, CURLOPT_COOKIEFILE, $super_cookie_fn);

            curl_exec($curl);
            curl_close($curl);

            //$new_cookie = curl_getinfo($curl, CURLINFO_COOKIELIST);
            //echo Debug::d($new_cookie);

            $parse = ob_get_contents();
        }
        ob_end_clean();

Написано более трёх лет назад

DanKud @DanKud

Зачем у вас в имени файла куков $? И что конкретно не работает? Не создается файл с куками?
P.S. Отвечайте через кнопку "Ответить", иначе мне не приходят уведомления.

Написано более трёх лет назад
Герман Мартин @dklight Автор вопроса

DanKud, значок доллара убрал, но не суть. Файл не создается банально

Написано более трёх лет назад
DanKud @DanKud
Герман Мартин, нужно прописать путь до файла:

..... $super_cookie_fn = __DIR__ .'/super_cookie_fn.cookie'; .....
Написано более трёх лет назад

Герман Мартин @dklight Автор вопроса

DanKud,

$cookie_jar = tempnam('./','cookie');
        $cookie_jar = './super_cookie_jar.txt';

        $c = curl_init(Yii::$app->params['parse2_siteUrl']);
        //$c = curl_init(Yii::$app->params['parse2_siteUrl2']);
        curl_setopt($c, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36");
        //curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($c, CURLOPT_COOKIEJAR, $cookie_jar);
        curl_setopt($c, CURLOPT_COOKIEFILE, $cookie_jar);
        //curl_setopt($c, CURLOPT_, $cookie_jar);
        $page = curl_exec($c);
        curl_close($c);
        //echo Debug::d($page);

на этот раз создаются файлы примерно так именуются, cooDE0F.tmp
почему так не знаю, задал другое в начале скрипта...

и все равно не работает, открывает только главную страницу, а в самой временном файле пусто

Написано более трёх лет назад

DanKud @DanKud

Герман Мартин, для чего вы используете tempnam? Я вообще не понимаю вашей идеи. Имя файла с куками наоборот не должно меняться, чтобы они подгружались и если необходимо записывались новые в один и тот же файл. Напишите для начала просто рабочий код на основе того, что я вам написал выше, чтобы убедиться в работоспособности, и дальше уже добавляйте дополнительные функции/параметры. Вот полностью рабочий код на основе вашего:

ob_start();
        {
            $url = 'https://ya.ru'; /* запрос к Яндексу */

            $curl = curl_init();
            curl_setopt($curl, CURLOPT_URL, $url);
            curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36");

            if ($cookie !== ''){
                curl_setopt($curl, CURLOPT_COOKIE, $cookie);
            }
            curl_setopt($curl, CURLOPT_REFERER, null);

            $super_cookie_fn = __DIR__ .'/super_cookie_fn.cookie'; /* путь до файла с куками */
            curl_setopt($curl, CURLOPT_COOKIEJAR, $super_cookie_fn);
            curl_setopt($curl, CURLOPT_COOKIEFILE, $super_cookie_fn);
			
            curl_exec($curl);
            curl_close($curl);

            //$new_cookie = curl_getinfo($curl, CURLINFO_COOKIELIST);
            //echo Debug::d($new_cookie);

            $parse = ob_get_contents();
        }
        ob_end_clean();
		
print_r($parse); /* вывод полученного ответа на страницу */

Написано более трёх лет назад

Герман Мартин @dklight Автор вопроса

DanKud, я делал как вы писали, но строка

$super_cookie_fn = __DIR__ .'/super_cookie_fn.cookie'; /* путь до файла с куками */

не работает, вместо него поставил так:

$cookie_jar = Yii::$app->getBasePath() . '/web/_ssuper_cccoookkie.txt';

и теперь файл создается, вот весь код:

//$cookie_jar = tempnam('./','cookie');
        $cookie_jar = Yii::$app->getBasePath() . '/web/_ssuper_cccoookkie.txt';
        echo $cookie_jar;
        //file_put_contents($cookie_jar,'');

        $c = curl_init();
        $url = Yii::$app->params['parse2_siteUrl'];
        $url = Yii::$app->params['parse2_siteUrl2'];
        curl_setopt($c, CURLOPT_URL, $url);
        curl_setopt($c, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36");
        curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($c, CURLOPT_HEADER,1);
        //curl_setopt($c, CURLOPT_NOBODY,1);

        //$cookie = 'PHPSESSID=a89905de5da83405986a1a9d15851bb6; city_path=astrahan; current_path=66b73d92019263641cf950c8eed05b57d1ea2dde703d1d4a0c9f2e8d9e158e0fa%3A2%3A%7Bi%3A0%3Bs%3A12%3A%22current_path%22%3Bi%3A1%3Bs%3A36%3A%223556b6b7-4a77-11e2-bc07-00155d030b1f%22%3B%7D; cartUserCookieIdent_v2=9a1baeee77af682d9c779ef566959f25ee03ae386cc88bbc4294fa6d4700c49fa%3A2%3A%7Bi%3A0%3Bs%3A22%3A%22cartUserCookieIdent_v2%22%3Bi%3A1%3Bs%3A36%3A%227b99809e-81a8-4989-9fc2-b0775145bdd6%22%3B%7D; _csrf=251ed98148bb6bf96e1d85dcce13c3da0dc31f85f35ebd606ad294302e1e24aca%3A2%3A%7Bi%3A0%3Bs%3A5%3A%22_csrf%22%3Bi%3A1%3Bs%3A32%3A%22taV-YA4IU7m1s0hAPZ6Gsu43dqPzjpCI%22%3B%7D; phonesIdent=58f1f0980f03116eda28b5856cb643d2bcf1b1b2c2e1b70f7cb038637bc9c60da%3A2%3A%7Bi%3A0%3Bs%3A11%3A%22phonesIdent%22%3Bi%3A1%3Bs%3A36%3A%22a7ad3682-57ea-4cc2-ac82-083a5d42b65d%22%3B%7D; orderCheckoutIdent=b921736aa96c3503304619b49e75ca3685697aa22c1f15d670dcdee56bbcec54a%3A2%3A%7Bi%3A0%3Bs%3A18%3A%22orderCheckoutIdent%22%3Bi%3A1%3Bs%3A36%3A%227b99809e-81a8-4989-9fc2-b0775145bdd6%22%3B%7D;';
        //$cookie = 'PHPSESSID=0b64372c14b238265c1e7e0aa232f20a; city_path=astrahan; current_path=66b73d92019263641cf950c8eed05b57d1ea2dde703d1d4a0c9f2e8d9e158e0fa%3A2%3A%7Bi%3A0%3Bs%3A12%3A%22current_path%22%3Bi%3A1%3Bs%3A36%3A%223556b6b7-4a77-11e2-bc07-00155d030b1f%22%3B%7D; cartUserCookieIdent_v2=4299b98b019edb17580ab3f1554a8e85e4f6c63d9368dbe52b3081f40381c77ba%3A2%3A%7Bi%3A0%3Bs%3A22%3A%22cartUserCookieIdent_v2%22%3Bi%3A1%3Bs%3A36%3A%229d79c2d2-c38c-43e8-9f16-3d30008ce6c5%22%3B%7D; _csrf=5fa9d70ba14536d8b203aaf221f168ffd0eaeb7d6da1300ae711108257a26d47a%3A2%3A%7Bi%3A0%3Bs%3A5%3A%22_csrf%22%3Bi%3A1%3Bs%3A32%3A%22WUpQMovnCc36WEr28zZjLYFtNCTakGjL%22%3B%7D; phonesIdent=2c88213f7cabb9122db7de3aad1f2361123ccacaf79fba7f5cdf3101d5506064a%3A2%3A%7Bi%3A0%3Bs%3A11%3A%22phonesIdent%22%3Bi%3A1%3Bs%3A36%3A%222cabf107-e449-471b-847a-54576a479677%22%3B%7D; orderCheckoutIdent=c19978b79ae4055c71b11e469ffc0b2b273b860dc56a7a0faaac0b000a127c7ca%3A2%3A%7Bi%3A0%3Bs%3A18%3A%22orderCheckoutIdent%22%3Bi%3A1%3Bs%3A36%3A%229d79c2d2-c38c-43e8-9f16-3d30008ce6c5%22%3B%7D; catalog-filter-extended-features=4f702a7d3ff3c2643a211375b60218830cc0e259a920de017195097f468ac7e8a%3A2%3A%7Bi%3A0%3Bs%3A32%3A%22catalog-filter-extended-features%22%3Bi%3A1%3Ba%3A1%3A%7Bs%3A36%3A%2217a89a04-1640-11e5-a679-00259074e77d%22%3Ba%3A0%3A%7B%7D%7D%7D; catalog-drawer-view-params=dc9a33992ad9d75ceb7115aee26a57423922a29f500e9d796dad59165b29a183a%3A2%3A%7Bi%3A0%3Bs%3A26%3A%22catalog-drawer-view-params%22%3Bi%3A1%3Ba%3A3%3A%7Bs%3A6%3A%22sortBy%22%3Bs%3A1%3A%221%22%3Bs%3A7%3A%22groupBy%22%3Bs%3A6%3A%22avails%22%3Bs%3A4%3A%22mode%22%3Bs%3A4%3A%22list%22%3B%7D%7D';
        //curl_setopt($c, CURLOPT_COOKIE, $cookie);

        //curl_setopt($c, CURLOPT_COOKIEJAR, $cookie_jar);
        curl_setopt($c, CURLOPT_COOKIEFILE, $cookie_jar);
        curl_setopt($c, CURLOPT_VERBOSE,1);
//        $curl_fn = "curl.txt";
//        $curl_log = fopen($curl_fn, 'w');
//        curl_setopt($c, CURLOPT_STDERR, $curl_log);

        $page = curl_exec($c);
        $curl_info = curl_getinfo($c);
        $curl_info2 = curl_getinfo($c, CURLINFO_HEADER_OUT);
        $curl_info3 = curl_getinfo($c, CURLINFO_COOKIELIST);
        echo $page;
        echo Debug::d($curl_info,'CURL_INFOOOO');
        //echo Debug::d($curl_info3,'CURL_INFOOOO_____@@@@@3333');
        //echo Debug::d($curl_info2,'CURL_INFOOOO_____@@@@@222');
        //echo Debug::d($page);
        curl_close($c);

но теперь другая проблема, файл который создан, не подхватывается, т.е. не отрабатывает эта строка:
curl_setopt($c, CURLOPT_COOKIEFILE, $cookie_jar);

Написано более трёх лет назад

DanKud @DanKud

Герман Мартин, по каким признакам вы определили, что куки не подгружаются через CURLOPT_COOKIEJAR? Ну и для начала раскомментируйте строку //curl_setopt($c, CURLOPT_COOKIEJAR, $cookie_jar); в коде.

Написано более трёх лет назад

Герман Мартин @dklight Автор вопроса

DanKud, этот код я закоментил, потому что заметил, что при 403, в файл записывается меньше денных куки чем нужно. А определяю работу вот так:

$url = Yii::$app->params['parse2_siteUrl']; // https://yandex.ru
$url = Yii::$app->params['parse2_siteUrl2']; // https://yandex.ru/some/subdirecory

так вот, я комментирую 2 строку тут, и получаю куки с полным набором, после коментирую строку получения новых куки, убераю потом коммент с 2 строки тут и запускаю, получаю 403 в хтмл ответе.
А впрочем, //curl_setopt($c, CURLOPT_COOKIEJAR, $cookie_jar);
что с комментом, что без это не работает

самое интересное,

$url = Yii::$app->params['parse2_siteUrl2'];
$cookie = 'PHPSESSID=0b64372c14b238265c1e7e0aa232f20a; city_path=astrahan; current_path=66b73d92019263641cf950c8eed05b57d1ea2dde703d1d4a0c9f2e8d9e158e0fa%3A2%3A%7Bi%3A0%3Bs%3A12%3A%22current_path%22%3Bi%3A1%3Bs%3A36%3A%223556b6b7-4a77-11e2-bc07-00155d030b1f%22%3B%7D; cartUserCookieIdent_v2=4299b98b019edb17580ab3f1554a8e85e4f6c63d9368dbe52b3081f40381c77ba%3A2%3A%7Bi%3A0%3Bs%3A22%3A%22cartUserCookieIdent_v2%22%3Bi%3A1%3Bs%3A36%3A%229d79c2d2-c38c-43e8-9f16-3d30008ce6c5%22%3B%7D; _csrf=5fa9d70ba14536d8b203aaf221f168ffd0eaeb7d6da1300ae711108257a26d47a%3A2%3A%7Bi%3A0%3Bs%3A5%3A%22_csrf%22%3Bi%3A1%3Bs%3A32%3A%22WUpQMovnCc36WEr28zZjLYFtNCTakGjL%22%3B%7D; phonesIdent=2c88213f7cabb9122db7de3aad1f2361123ccacaf79fba7f5cdf3101d5506064a%3A2%3A%7Bi%3A0%3Bs%3A11%3A%22phonesIdent%22%3Bi%3A1%3Bs%3A36%3A%222cabf107-e449-471b-847a-54576a479677%22%3B%7D; orderCheckoutIdent=c19978b79ae4055c71b11e469ffc0b2b273b860dc56a7a0faaac0b000a127c7ca%3A2%3A%7Bi%3A0%3Bs%3A18%3A%22orderCheckoutIdent%22%3Bi%3A1%3Bs%3A36%3A%229d79c2d2-c38c-43e8-9f16-3d30008ce6c5%22%3B%7D; catalog-filter-extended-features=4f702a7d3ff3c2643a211375b60218830cc0e259a920de017195097f468ac7e8a%3A2%3A%7Bi%3A0%3Bs%3A32%3A%22catalog-filter-extended-features%22%3Bi%3A1%3Ba%3A1%3A%7Bs%3A36%3A%2217a89a04-1640-11e5-a679-00259074e77d%22%3Ba%3A0%3A%7B%7D%7D%7D; catalog-drawer-view-params=dc9a33992ad9d75ceb7115aee26a57423922a29f500e9d796dad59165b29a183a%3A2%3A%7Bi%3A0%3Bs%3A26%3A%22catalog-drawer-view-params%22%3Bi%3A1%3Ba%3A3%3A%7Bs%3A6%3A%22sortBy%22%3Bs%3A1%3A%221%22%3Bs%3A7%3A%22groupBy%22%3Bs%3A6%3A%22avails%22%3Bs%3A4%3A%22mode%22%3Bs%3A4%3A%22list%22%3B%7D%7D';
        //$cookie = 'PHPSESSID=66afed6e3a62161958690f55d3b844d9; cartUserCookieIdent_v2=ae2f950ec74eb7fb138701214e40724f3bc44161724b2fb6f7639e82b498dcbfa%3A2%3A%7Bi%3A0%3Bs%3A22%3A%22cartUserCookieIdent_v2%22%3Bi%3A1%3Bs%3A36%3A%225fa84fb8-771d-48a2-b3b7-b3a0a6e9bb62%22%3B%7D; city_path=astrahan; current_path=66b73d92019263641cf950c8eed05b57d1ea2dde703d1d4a0c9f2e8d9e158e0fa%3A2%3A%7Bi%3A0%3Bs%3A12%3A%22current_path%22%3Bi%3A1%3Bs%3A36%3A%223556b6b7-4a77-11e2-bc07-00155d030b1f%22%3B%7D; orderCheckoutIdent=f6d282c2b4c93aada48c81ebc354a6351c4624f17c1f1583b166c41006d8e79ca%3A2%3A%7Bi%3A0%3Bs%3A18%3A%22orderCheckoutIdent%22%3Bi%3A1%3Bs%3A36%3A%225fa84fb8-771d-48a2-b3b7-b3a0a6e9bb62%22%3B%7D; phonesIdent=39452a82a3d6d922363e6aec35b5d9f12710b1618e487d1017727fcd40962c9fa%3A2%3A%7Bi%3A0%3Bs%3A11%3A%22phonesIdent%22%3Bi%3A1%3Bs%3A36%3A%223e5da18c-c183-495b-b5d7-8f8f849eabf6%22%3B%7D; catalog-filter-extended-features=4f702a7d3ff3c2643a211375b60218830cc0e259a920de017195097f468ac7e8a%3A2%3A%7Bi%3A0%3Bs%3A32%3A%22catalog-filter-extended-features%22%3Bi%3A1%3Ba%3A1%3A%7Bs%3A36%3A%2217a89a04-1640-11e5-a679-00259074e77d%22%3Ba%3A0%3A%7B%7D%7D%7D; catalog-drawer-view-params=dc9a33992ad9d75ceb7115aee26a57423922a29f500e9d796dad59165b29a183a%3A2%3A%7Bi%3A0%3Bs%3A26%3A%22catalog-drawer-view-params%22%3Bi%3A1%3Ba%3A3%3A%7Bs%3A6%3A%22sortBy%22%3Bs%3A1%3A%221%22%3Bs%3A7%3A%22groupBy%22%3Bs%3A6%3A%22avails%22%3Bs%3A4%3A%22mode%22%3Bs%3A4%3A%22list%22%3B%7D%7D';
        curl_setopt($c, CURLOPT_COOKIE, $cookie);

        //curl_setopt($c, CURLOPT_COOKIEJAR, $cookie_jar);
        //curl_setopt($c, CURLOPT_COOKIEFILE, $cookie_jar);

если сделать так, то работает, в переменной куки - куки, который я вручную скопировал с браузера с вкладки сеть

Написано более трёх лет назад

DanKud @DanKud
Герман Мартин, вообще ничего не понял. Вы так мудрите если честно, что это просто дико :)
Не нужно ничего комментировать для проверки. Раскомментируйте строки с CURLOPT_COOKIEJAR и CURLOPT_COOKIEFILE и оставьте их в покое. У вас же есть строка:

$curl_info3 = curl_getinfo($c, CURLINFO_COOKIELIST);

которая загружает передаваемые куки в переменную. Так просто выведите ее на экран print_r($curl_info3); после curl_close($c); и увидите куки, которые отправляются.
Написано более трёх лет назад
Герман Мартин @dklight Автор вопроса

DanKud, вы видимо, не донца внимательно читали мое последнее сообщение.
А впрочем, //curl_setopt($c, CURLOPT_COOKIEJAR, $cookie_jar); что с комментом, что без это не работает

А что касается
$curl_info3 = curl_getinfo($c, CURLINFO_COOKIELIST);
которая загружает передаваемые куки в переменную. Так просто выведите ее на экран print_r($curl_info3); после curl_close($c); и увидите куки, которые отправляются.

то $curl_info3 пустой.

Написано более трёх лет назад
DanKud @DanKud

Герман Мартин, к сожалению не знаю чем вам помочь. При правильном использовании эти функции полностью рабочие. Если хотите можете написать адрес сайта, с которого парсите, чтобы можно было проверить.

Написано более трёх лет назад
Герман Мартин @dklight Автор вопроса
DanKud, Уже в нескольких местах советуют поступить способом, подобному вашему:
curl_setopt($c, CURLOPT_COOKIEJAR, $cookie_jar); curl_setopt($c, CURLOPT_COOKIEFILE, $cookie_jar);

Этот код изначально был прост и понятен, но он попросту не работает, попробую с другим ресурсом поработать подобным образом.

В любом случае благодарю за труды!
Написано более трёх лет назад
Герман Мартин @dklight Автор вопроса

DanKud, опытным путем установил, что страница выдается если дать ей правильный:
Cookie: PHPSESSID=0b64372c14b238265c1e7e0aa232f20a
Нужно только его получить, и... внимание, если подсунуть курлу тот кукис, что он же и формирует, то ничего не выходит, а если же хотя 1 бы один раз открыть с браузера страницу, отличную от главной целевого сайта и скопировать оттуда пресловутый PHPSESSID, то используя его можно спарсить желанные тысячи страниц с товарами.
Если есть идеи, подкиньте

Написано более трёх лет назад
DanKud @DanKud

Герман Мартин, то есть вы имеете ввиду, что главная страница сайта не отдает в куки параметр PHPSESSID если на нее заходить? Так отправляйте CURL-запрос на ту страницу, которая отдает нужные куки, чтобы получить их в файл.

Написано более трёх лет назад
Герман Мартин @dklight Автор вопроса
DanKud, все таки выяснил, проблема не с моей стороны, а со стороны сервера, это наверное своеобразная защита.
Чтобы это понять делаю следущее: открываю вручную либо курлом главную страницу целевого сайта.
далее выполняю:
... $cookie = 'PHPSESSID=5cc2931ecc62ed9fe23320ff78a634b7'; // тут PHPSESSID, полученный из первого шага. curl_setopt($c, CURLOPT_COOKIE, $cookie); $url = 'sitename.ru/some/anather/directory'; ...

Код не работает, то есть тут я пытаюсь открыть любую другую страницу целевого сайта, отличную от главной. Однако, стоит лишь вручную открыть любую страницу из главной и перезагрузить скрипт, то он уже способен спарсить все что угодно. Т.е. как я понял, чтобы активировать PHPSESSID, полученный изначально, надо перейти на любую другую страницу, теперь осталось узнать как это сделать программным способом )
Написано более трёх лет назад
DanKud @DanKud

Герман Мартин, передавайте тогда полностью заголовки, а не только CURLOPT_USERAGENT. В первую очередь адрес главной страницы в CURLOPT_REFERER. Ну и остальные можно отправить через CURLOPT_HTTPHEADER

Написано более трёх лет назад
Герман Мартин @dklight Автор вопроса

DanKud, благодарю за ответ, у меня был подобный план, сделаю и отпишусь

Написано более трёх лет назад

Герман Мартин @dklight Автор вопроса

DanKud, вот новый код:

$cookie_jar = Yii::$app->getBasePath() . '/web/_ssuper_cccoookkie.txt';
        //echo $cookie_jar;

        $c = curl_init();
        $url = Yii::$app->params['parse2_siteUrl'];
        $url = Yii::$app->params['parse2_siteUrl2'];
        curl_setopt($c, CURLOPT_URL, $url);
        curl_setopt($c, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36");
        curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($c, CURLINFO_HEADER_OUT,1);
        curl_setopt($c, CURLOPT_HEADER,1);
        $referer = 'https://technopoint.ru';
        curl_setopt($c, CURLOPT_REFERER, $referer);
        //curl_setopt($c, CURLOPT_NOBODY,1);

        // 
        $cookie = 'PHPSESSID=cb29e0b7be713cef7f3fb98bf1dd1209;';
        //curl_setopt($c, CURLOPT_COOKIE, $cookie);

        curl_setopt($c, CURLOPT_FOLLOWLOCATION, true );
        curl_setopt($c, CURLOPT_AUTOREFERER, true );
        curl_setopt($c, CURLOPT_COOKIESESSION, true );
        curl_setopt($c, CURLOPT_COOKIEJAR, $cookie_jar);
        curl_setopt($c, CURLOPT_COOKIEFILE, $cookie_jar);
        $cohh = [];
        $cohh[] = 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8';
        // последующие 2 строки вызывают появление кракозябр
        //$cohh[] = 'Accept-Encoding: gzip, deflate, br';
        //$cohh[] = 'Accept-Language: ru,en-US;q=0.9,en;q=0.8';
        $cohh[] = 'Cache-Control: max-age=0';
        $cohh[] = 'Connection: keep-alive';
        $cohh[] = 'Upgrade-Insecure-Requests: 1';
        //$cohh[] = 'Cookie: PHPSESSID=eceeb02bb74949d27e02bfb7b932de4e; city_path=astrahan; path=/; domain=.technopoint.ru';

        curl_setopt($c, CURLOPT_HTTPHEADER, $cohh);

        curl_setopt($c, CURLOPT_VERBOSE,1);
        $curl_fn = "curl_errors.txt";
        $curl_log = fopen($curl_fn, 'w');
        curl_setopt($c, CURLOPT_STDERR, $curl_log);

        $page = curl_exec($c);
        $curl_info = curl_getinfo($c);
        echo $page;
        echo Debug::d($curl_info['request_header'],'CURL_INFOOO');

        curl_close($c);

на этот раз вроде бы все хорошо, вижу какие заголовки посылаются и возвращаются, поставил заголовки так, как делает браузер, но все равно не получается спарсить страницу, получаю 403 в html коде.

Написано более трёх лет назад

Пригласить эксперта

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

PHP

Простой
Каким образом формируются имена файлов из набора букв и цифр?
- 1 подписчик
- 7 часов назад
- 53 просмотра
2

ответа
PHP

Простой
Почему не применяются настройки xdebug.ini после изменения?
- 1 подписчик
- 18 часов назад
- 35 просмотров
1

ответ
PHP

+1 ещё

Простой
Как получить публичную ссылку на изображение с чата Телеграм?
- 1 подписчик
- 18 часов назад
- 61 просмотр
1

ответ
PHP

+1 ещё

Простой
Почему перестали отображаться новости на детальной странице новостей?
- 1 подписчик
- 19 часов назад
- 56 просмотров
1

ответ
PHP

Простой
Почему ломается передача по ссылке в foreach с указанием оператора опциональной последовательности для массива?
- 1 подписчик
- 21 час назад
- 64 просмотра
1

ответ
PHP

+1 ещё

Простой
Почему ошибка 502 после миграции с PHP 8.2 на PHP 8.3?
- 1 подписчик
- 22 часа назад
- 118 просмотров
2

ответа
PHP

+1 ещё

Средний
Как получить телефон из Google OAuth 2.0 API?
- 1 подписчик
- вчера
- 50 просмотров
1

ответ
PHP

+1 ещё

Средний
Как запускать PHP в терминале Netbeans?
- 2 подписчика
- вчера
- 220 просмотров
0

ответов
PHP

+1 ещё

Простой
Где ошибка в коде при создании древа в sql из файла?
- 1 подписчик
- вчера
- 97 просмотров
0

ответов
PHP

+1 ещё

Простой
Как в php формировать ответ на AJAX XMLHttpRequest запрос?
- 1 подписчик
- 23 апр.
- 105 просмотров
0

ответов
Показать ещё Загружается…

PHP Developer

YCLIENTS • Москва

от 200 000 до 350 000 ₽

PHP разработчик

Ведисофт • Екатеринбург

от 25 000 ₽

Midlle PHP developer (backend)

ИТЦ Аусферр • Магнитогорск

от 100 000 до 160 000 ₽

Разработать парсер

26 апр. 2024, в 07:47

2000 руб./за проект

Devops для видео сервиса

26 апр. 2024, в 06:46

1000 руб./в час

Найти ошибку flutter_map

26 апр. 2024, в 05:31

1000 руб./за проект

Куки сессии получаете после авторизации или просто при загрузке страницы?
как я говорил выше, открываю нужные страницу, и через вкладку сеть получаю куки, после вбиваю его в курл
Используйте в curl_setopt параметры CURLOPT_COOKIEFILE и CURLOPT_COOKIEJAR для сохранения и подключения куки из файла. Таким образом при входе на страницу все куки, которые она отдает, сохранятся у вас в файл и при следующем вызове CURL они автоматически подключатся и точно так же запишутся новые, если будет необходимо.

..... curl_setopt($curl, CURLOPT_COOKIEJAR, 'путь_до_файла'); curl_setopt($curl, CURLOPT_COOKIEFILE, 'путь_до_файла'); .....
интересный код, но он у меня не заработал:

ob_start(); { $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, $url); curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36"); if ($cookie !== ''){ curl_setopt($curl, CURLOPT_COOKIE, $cookie); } curl_setopt($curl, CURLOPT_REFERER, null); $super_cookie_fn = '$super_cookie_fn.cookie'; curl_setopt($curl, CURLOPT_COOKIEJAR, $super_cookie_fn); curl_setopt($curl, CURLOPT_COOKIEFILE, $super_cookie_fn); curl_exec($curl); curl_close($curl); //$new_cookie = curl_getinfo($curl, CURLINFO_COOKIELIST); //echo Debug::d($new_cookie); $parse = ob_get_contents(); } ob_end_clean();
Зачем у вас в имени файла куков $? И что конкретно не работает? Не создается файл с куками?
P.S. Отвечайте через кнопку "Ответить", иначе мне не приходят уведомления.
DanKud, значок доллара убрал, но не суть. Файл не создается банально
Герман Мартин, нужно прописать путь до файла:

..... $super_cookie_fn = __DIR__ .'/super_cookie_fn.cookie'; .....
DanKud,
$cookie_jar = tempnam('./','cookie'); $cookie_jar = './super_cookie_jar.txt'; $c = curl_init(Yii::$app->params['parse2_siteUrl']); //$c = curl_init(Yii::$app->params['parse2_siteUrl2']); curl_setopt($c, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36"); //curl_setopt($c, CURLOPT_RETURNTRANSFER, 1); curl_setopt($c, CURLOPT_COOKIEJAR, $cookie_jar); curl_setopt($c, CURLOPT_COOKIEFILE, $cookie_jar); //curl_setopt($c, CURLOPT_, $cookie_jar); $page = curl_exec($c); curl_close($c); //echo Debug::d($page);

на этот раз создаются файлы примерно так именуются, cooDE0F.tmp
почему так не знаю, задал другое в начале скрипта...

и все равно не работает, открывает только главную страницу, а в самой временном файле пусто
Герман Мартин, для чего вы используете tempnam? Я вообще не понимаю вашей идеи. Имя файла с куками наоборот не должно меняться, чтобы они подгружались и если необходимо записывались новые в один и тот же файл. Напишите для начала просто рабочий код на основе того, что я вам написал выше, чтобы убедиться в работоспособности, и дальше уже добавляйте дополнительные функции/параметры. Вот полностью рабочий код на основе вашего:

ob_start(); { $url = 'https://ya.ru'; /* запрос к Яндексу */ $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, $url); curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36"); if ($cookie !== ''){ curl_setopt($curl, CURLOPT_COOKIE, $cookie); } curl_setopt($curl, CURLOPT_REFERER, null); $super_cookie_fn = __DIR__ .'/super_cookie_fn.cookie'; /* путь до файла с куками */ curl_setopt($curl, CURLOPT_COOKIEJAR, $super_cookie_fn); curl_setopt($curl, CURLOPT_COOKIEFILE, $super_cookie_fn); curl_exec($curl); curl_close($curl); //$new_cookie = curl_getinfo($curl, CURLINFO_COOKIELIST); //echo Debug::d($new_cookie); $parse = ob_get_contents(); } ob_end_clean(); print_r($parse); /* вывод полученного ответа на страницу */
Герман Мартин, по каким признакам вы определили, что куки не подгружаются через CURLOPT_COOKIEJAR? Ну и для начала раскомментируйте строку //curl_setopt($c, CURLOPT_COOKIEJAR, $cookie_jar); в коде.
Герман Мартин, вообще ничего не понял. Вы так мудрите если честно, что это просто дико :)
Не нужно ничего комментировать для проверки. Раскомментируйте строки с CURLOPT_COOKIEJAR и CURLOPT_COOKIEFILE и оставьте их в покое. У вас же есть строка:

$curl_info3 = curl_getinfo($c, CURLINFO_COOKIELIST);

которая загружает передаваемые куки в переменную. Так просто выведите ее на экран print_r($curl_info3); после curl_close($c); и увидите куки, которые отправляются.
DanKud, вы видимо, не донца внимательно читали мое последнее сообщение.
А впрочем, //curl_setopt($c, CURLOPT_COOKIEJAR, $cookie_jar); что с комментом, что без это не работает

А что касается
$curl_info3 = curl_getinfo($c, CURLINFO_COOKIELIST);
которая загружает передаваемые куки в переменную. Так просто выведите ее на экран print_r($curl_info3); после curl_close($c); и увидите куки, которые отправляются.

то $curl_info3 пустой.
Герман Мартин, к сожалению не знаю чем вам помочь. При правильном использовании эти функции полностью рабочие. Если хотите можете написать адрес сайта, с которого парсите, чтобы можно было проверить.
DanKud, Уже в нескольких местах советуют поступить способом, подобному вашему:
curl_setopt($c, CURLOPT_COOKIEJAR, $cookie_jar); curl_setopt($c, CURLOPT_COOKIEFILE, $cookie_jar);

Этот код изначально был прост и понятен, но он попросту не работает, попробую с другим ресурсом поработать подобным образом.

В любом случае благодарю за труды!
DanKud, опытным путем установил, что страница выдается если дать ей правильный:
Cookie: PHPSESSID=0b64372c14b238265c1e7e0aa232f20a
Нужно только его получить, и... внимание, если подсунуть курлу тот кукис, что он же и формирует, то ничего не выходит, а если же хотя 1 бы один раз открыть с браузера страницу, отличную от главной целевого сайта и скопировать оттуда пресловутый PHPSESSID, то используя его можно спарсить желанные тысячи страниц с товарами.
Если есть идеи, подкиньте
Герман Мартин, то есть вы имеете ввиду, что главная страница сайта не отдает в куки параметр PHPSESSID если на нее заходить? Так отправляйте CURL-запрос на ту страницу, которая отдает нужные куки, чтобы получить их в файл.
DanKud, все таки выяснил, проблема не с моей стороны, а со стороны сервера, это наверное своеобразная защита.
Чтобы это понять делаю следущее: открываю вручную либо курлом главную страницу целевого сайта.
далее выполняю:
... $cookie = 'PHPSESSID=5cc2931ecc62ed9fe23320ff78a634b7'; // тут PHPSESSID, полученный из первого шага. curl_setopt($c, CURLOPT_COOKIE, $cookie); $url = 'sitename.ru/some/anather/directory'; ...

Код не работает, то есть тут я пытаюсь открыть любую другую страницу целевого сайта, отличную от главной. Однако, стоит лишь вручную открыть любую страницу из главной и перезагрузить скрипт, то он уже способен спарсить все что угодно. Т.е. как я понял, чтобы активировать PHPSESSID, полученный изначально, надо перейти на любую другую страницу, теперь осталось узнать как это сделать программным способом )
Герман Мартин, передавайте тогда полностью заголовки, а не только CURLOPT_USERAGENT. В первую очередь адрес главной страницы в CURLOPT_REFERER. Ну и остальные можно отправить через CURLOPT_HTTPHEADER
DanKud, благодарю за ответ, у меня был подобный план, сделаю и отпишусь

Как получить значение cookie как ответ от сервера?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт