@7tion

Есть ли переборщик символов для поиска страниц сайта?

Здравствуйте, мне для управления сайтом нужно подобрать ссылки на все страницы, которые на сайте есть. Проблема в том что есть страницы, на которые нет ссылок и стандартными утилитами я не могу их собрать.

Вопрос: есть ли переборщик символов для поиска страниц сайта?
  • Вопрос задан
  • 290 просмотров
Пригласить эксперта
Ответы на вопрос 3
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
Проблема в том что есть страницы, на которые нет ссылок и стандартными утилитами я не могу их собрать.
Тогда как же Вы знаете, что страницы есть, если у них нет ссылок?!
Ответ написан
@xDimus
Как вы их хотите перебирать?
Если так [aaaa.html, aaab.html, aaac.html...] то делается легко, определяете набор символов, длину и вперед - только сайту такое количество запросов вряд ли понравится.
Я бы посмотрел вначале информацию в sitemap.xml, robots.txt и какие страницы уже найдены/проиндексированы поисковыми системами.
Ответ написан
Комментировать
@rPman
Когда то давным давно работал с проектом по анализу интернета на ссылки на разные файловые хранилища, всякие рапидшары и прочее, для этого в поисковую систему делались запросы по списку ключевых слов, загружались страницы по ссылкам и анализировалось содержимое на эти ссылки.

По факту, другого способа добыть ссылки на контент сайта у вас нет.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы