murad1986
@murad1986
MySQL, Startups, internet-marketing

Как получить все документы сайта, если у сайта нет карты?

Привет всем.
В учебных целях хочу написать скрипт, который будет обходить все документы сайта и проверять на счет внутренней оптимизации для serp.
Как поисковой робот находит все страницы?А если у сайта нет sitemap?
  • Вопрос задан
  • 189 просмотров
Решения вопроса 1
dimonchik2013
@dimonchik2013
non progredi est regredi
scrapy
или
grablib
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
evnuh
@evnuh
Поиск Гугл помог мне, впусти и ты его в свой дом
по ссылкам
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы