Почему на rutracker.org не удается спарсить результаты поиска по разделу?

Question

Алексей Соловьев @alekseysolo

Почему на rutracker.org не удается спарсить результаты поиска по разделу?

Например вот такой поиск rutracker.org/forum/tracker.php?f=189. Парсинг через curl. Я могу получить первую страницу результатов отдельно. Могу получить любую другую страницу результатов (3, 7-ю и т.п.), но только отдельно. Когда я начинаю брать их подряд, через любой таймаут, то корректно возвращается только первая страница в очереди, а потом все время сбрасывает на первую страницу результатов поиска.

Не пойму в чем причина. По идее что-то не так в curl. Перепробовал все варианты и виды настроек curl. Пролистал весь github по слову rutracker.

Все сделано как у всех и все равно никак.

П.С.
Разумеется все в порядке с простыми вещами типа авторизации, куками, search_id и т.п.

В чем может быть причина?

Вопрос задан более трёх лет назад
4131 просмотр

3 комментария

Подписаться 3 Оценить 3 комментария

Александр Зеленин @zelenin

что-то с глазами. не вижу код, используемый вами.

Написано более трёх лет назад

Алексей Соловьев @alekseysolo Автор вопроса

Не в коде ж дело, пусть будет обычный curl

$ch = curl_init('http://rutracker.org/forum/tracker.php?f=189');
    curl_setopt($ch, CURLOPT_USERAGENT, "User-Agent: Mozilla/5.0 (Windows NT 6.2; WOW64; rv:17.0) Gecko/20100101 Firefox/17.0");
    curl_setopt($ch, CURLOPT_POST, 1);
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_POSTFIELDS, 'tm=7');        
    curl_setopt($ch, CURLOPT_COOKIEJAR, "./rutracker_cookie.txt");
    curl_setopt($ch, CURLOPT_COOKIEFILE, "./rutracker_cookie.txt");
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    $data = curl_exec($ch);
    curl_close($ch);

Вот этот выдает все верно, а вот когда делаешь второй запрос, на следующую страницу результатов:

$ch = curl_init('http://rutracker.org/forum/tracker.php?search_id=yZszkF1dEs5E&start=50');
    curl_setopt($ch, CURLOPT_USERAGENT, "User-Agent: Mozilla/5.0 (Windows NT 6.2; WOW64; rv:17.0) Gecko/20100101 Firefox/17.0");
    curl_setopt($ch, CURLOPT_POST, 1);
    curl_setopt($ch, CURLOPT_HEADER, 0);    
    curl_setopt($ch, CURLOPT_COOKIEJAR, "./rutracker_cookie.txt");
    curl_setopt($ch, CURLOPT_COOKIEFILE, "./rutracker_cookie.txt");
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    $data = curl_exec($ch);
    curl_close($ch);

Все равно выдается первая страница результатов поиска.
Если же вот этот второй запрос отправить отдельно, одним, то выдастся нужная страница. Но если после этого брать следующую страницу (rutracker.org/forum/tracker.php?search_id=yZszkF1d...), то все равно выдастся первая страница результатов поиска.

Тут дело не в коде, либо в рутрекере, либо в curl, не могу понять где именно.

Написано более трёх лет назад

Алексей Соловьев @alekseysolo Автор вопроса

Самое обидное, что у всех сделано примерно так же.

Написано более трёх лет назад

Решения вопроса 1

1 комментарий

Пригласить эксперта

Ответы на вопрос 1

1 комментарий

Алексей Соловьев @alekseysolo Автор вопроса
@L3n1n
Вы имеете в виду что-то типа:
$ch = curl_init(); ... curl_setopt($ch, CURLOPT_URL, $url1); $res = curl_exec($ch); ... curl_setopt($ch, CURLOPT_URL, $url2); $res = curl_exec($ch); curl_close($ch);

К сожалению тот же результат. Отдельно запросы работают и выдают то, что надо, но в очереди - второй запрос всегда ведет на первую страницу поиска.
Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

PHP

+1 ещё

Простой
Почему клиент телеграма отсылает битый запрос?
- 1 подписчик
- 12 часов назад
- 69 просмотров
0

ответов
PHP

+2 ещё

Простой
Как в Drupal 10 массово проставить noindex для >1000 страниц?
- 1 подписчик
- 12 часов назад
- 28 просмотров
1

ответ
JavaScript

+3 ещё

Простой
Как стилизовать пагинацию постов по определённому признаку?
- 1 подписчик
- 17 часов назад
- 64 просмотра
1

ответ
PHP

+1 ещё

Простой
Парсинг XML yandex?
- 1 подписчик
- вчера
- 84 просмотра
0

ответов
PHP

Простой
Заполнить не существующими датами из бд в графике apexcharts?
- 1 подписчик
- вчера
- 56 просмотров
2

ответа
PHP

+1 ещё

Средний
Почему одинаково-написанный curl запрос отдает разные ответы?
- 1 подписчик
- вчера
- 134 просмотра
0

ответов
PHP

Простой
Вывожу куки в корзине, куда записал товар, не выводит, в чем ошибка?
- 1 подписчик
- вчера
- 80 просмотров
0

ответов
PHP

Простой
Функция str_replace() не работает?
- 1 подписчик
- вчера
- 178 просмотров
3

ответа
Python

+1 ещё

Простой
Выбор: парсить на питоне с aiohttp, asyncio, bs4 или requests + bs4?
- 1 подписчик
- 17 апр.
- 135 просмотров
2

ответа
PHP

+1 ещё

Простой
Как получить данные title на TradingView?
- 1 подписчик
- 17 апр.
- 30 просмотров
1

ответ
Показать ещё Загружается…

PHP разработчик

Ведисофт • Екатеринбург

от 25 000 ₽

PHP-разработчик

M-Social Production • Брянск

от 70 000 ₽

PHP Developer

YCLIENTS • Москва

от 200 000 до 350 000 ₽

Помощь с парсингом XML файла яндекс товаров

19 апр. 2024, в 09:46

500 руб./за проект

Обработать массив фотографий

19 апр. 2024, в 08:46

5000 руб./за проект

Скрыть / убрать лишние поля в форме заказа

19 апр. 2024, в 07:30

1500 руб./в час

что-то с глазами. не вижу код, используемый вами.
Самое обидное, что у всех сделано примерно так же.

Answer 1 · 2014-02-15 18:27:38

Приношу всем извинения, проблема решилась банальным html_entity_decode. В ссылке на следующую страницу амперсанд был прописан как &

Answer 2 · 2014-02-15 14:02:20

Курл инициализируйте только раз. А дальше только давайте ексек на получение нужного урла.

А вообще, советую использовать pear http client. С ним это займет несколько строчек. И никаких заморочек с кукисами.

Почему на rutracker.org не удается спарсить результаты поиска по разделу?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт