murad1986
@murad1986
MySQL, Startups, internet-marketing

Как получить все документы сайта, если у сайта нет карты?

Привет всем.
В учебных целях хочу написать скрипт, который будет обходить все документы сайта и проверять на счет внутренней оптимизации для serp.
Как поисковой робот находит все страницы?А если у сайта нет sitemap?
  • Вопрос задан
  • 173 просмотра
Решения вопроса 1
dimonchik2013
@dimonchik2013
купил глушилку мабил: теперь в маршрутке тишина
scrapy
или
grablib
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
evnuh
@evnuh
Поиск Гугл помог мне, впусти и ты его в свой дом
по ссылкам
Ответ написан
wget -m ещё есть, тупо захватывает все встреченные в коде страниц ссылки, фильтруя внешние.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы