Как парсить выдачу Google без блокировки (PHP + cURL)?

Парсю выдачу Гугла (только первую страницу выдачи), после примерно 30 запросов Гугл вываливает капчу. Можно ли парсить без блокировок, не используя прокси? Нужно, чтобы отработало ~1500 запросов не более чем за три часа.
Паузы между запросами ставил, браузероподобные заголовки отправлял.
  • Вопрос задан
  • 6830 просмотров
Пригласить эксперта
Ответы на вопрос 6
@mrRiver
Есть сервис XMLRiver
~1500 запросов можно собрать за 10 минут.
Ответ написан
sim3x
@sim3x
Никак

Используй апи
Используй кучу прокси
Используй настоящий браузер
....
Ответ написан
Rou1997
@Rou1997
Нет, и более того, прокси и тем более VPS/VDS может уже присутствовать в списке, чтобы капча чуть ли не на каждом втором запросе появлялась.
Ответ написан
Комментировать
@vshvydky
Плати за каптчу и не парься
Ответ написан
Комментировать
@Golover
На днях написали статью "How to check which URLs have been indexed by Google using Python"
Тут имеется в виду парсинг по списку URL, можно подшаманить и парсить по запросу.

ссылка
Ответ написан
Комментировать
@librevlad
Парсить с одного IP без блокировок не получится, но можно настроить сетку проксей на одну геолокацию для ровных результатов. А можно купить услуги готовых сервисов, например serpentine.io.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы