nobodynoone
@nobodynoone

Есть ли ограничения у Google public DNS?

Добрый вечер.

Мне нужно спарсить информацию с примерно 3 млн сайтов, буквально зайти на сайт и скачать несколько страниц (индексная и пару внутренних).

Так вот, так как я хочу это сделать многопоточно, то мой скрипт по какой то причине (точно не из-за кода, потому что с кодом все ОК 100%) работает очень медленно. Я думаю, что это из-за лимитов Google Public DNS. Какие в этом случае есть варианты решения проблемы парсинга? (Прокси тоже вариант, но этот вариант я хочу отвести на второй план, так как он совершенно непрактичный).
  • Вопрос задан
  • 2334 просмотра
Пригласить эксперта
Ответы на вопрос 2
gbg
@gbg
Любые ответы на любые вопросы
Попробуйте во время работы скрипта сделать пару-тройку DNS-запросов.

Наверняка проблема таки в коде, только вы о ней не знаете.

Используйте профилирование.
Ответ написан
используй несколько днс серверов + корневые + 77.88.8.8 яндекс
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы