murad1986
@murad1986
MySQL, Startups, internet-marketing

Как получить все документы сайта, если у сайта нет карты?

Привет всем.
В учебных целях хочу написать скрипт, который будет обходить все документы сайта и проверять на счет внутренней оптимизации для serp.
Как поисковой робот находит все страницы?А если у сайта нет sitemap?
  • Вопрос задан
  • 192 просмотра
Решения вопроса 1
dimonchik2013
@dimonchik2013
non progredi est regredi
scrapy
или
grablib
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
evnuh
@evnuh
Поиск Гугл помог мне, впусти и ты его в свой дом
по ссылкам
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
28 мар. 2024, в 21:17
5000 руб./за проект
28 мар. 2024, в 20:46
150000 руб./за проект
28 мар. 2024, в 20:37
50000 руб./за проект