@PyNen

Где скачать качественный поисковый робот?

Есть мастерсервер. Я хочу получить все ip-адрес с этого мастер-сервера вручную и скачать все сайты с этих Ip-адресов. Часто сайты просто не проиндексированы поисковыми системами. Таких сайтов в среднем примерно 600 на каждом мастер-сервере по количеству серверов.
Меня интересуют популярные универсальные поисковые роботы/краулеры, способы полного парсинга сайтов, оффлайн-браузеры и прочие способы как скачать сайт целиком по html (копирование html). Почему именно поисковые роботы? Популярные поисковые системы способны сделать кэшированную копию всего проиндексированного сайта. Если есть универсальный оффлайн-браузер - тоже напишите. Они не смотрят robot.txt. Может быть и снапшот сайта.
  • Вопрос задан
  • 193 просмотра
Пригласить эксперта
Ответы на вопрос 1
dmitryrublev
@dmitryrublev
Веб-разработчик, зануда
Из старого: Teleport Pro.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через TM ID
Похожие вопросы