@ESSES1868

Запрет на обход в Robots.txt и 301 редирект. Как правильно?

Друзья!

Некоторое время назад удалил с сайта раздел (~2000 старых страниц). Те страницы на которые были хорошие ссылки (~200) добавил 301 редирект на схожие актуальные страницы. Можно ли запретить поисковым роботам посещать удаленный раздел или тогда они не узнают о 301-м редиректе? Думаю, что не полезно, если роботы видят 404 ошибку на оставшихся 1800 страницах, у которых нет 301 редиректа. Проще запретить весь раздел и они не будут туда стучаться. Видимо нужно подождать, когда поисковики обойдут страницы, увидят редирект, а потом запрещать? Как лучшее всего поступить?

ДОПОЛНЮ

На самом деле, я склоняюсь к запрету индексации старого раздела и удалению редиректов. Эти страницы не несут никакой пользы, это были краткие новостные заметки и были написаны еще до 2007 года. Потом я перешел на новый движок и оставил старый с этими вот страницами. Они были не очень качественные и еще и плодили дубли. Реальных пользователей на них уже много лет нет и быть не может.

Получается, что Яндекс видит на каких то сайтах ссылки на эти страницы и постоянно ходит на них смотреть. В итоге в истории обхода постоянно куча страниц с 404.

Единственно, жалко ссылки с крутых сайтов типа news.com.ru или ixbt.com, которые, наверное, давали вес моему сайту в целом. Вот для них я и делал 301 редирект.

Сейчас, при переходе на HTTPS Яндекс будет видеть несуществующие страницы, которые имеют глобальный редирект 301, а потом цель отдает 404, что мне тоже не нравится.

В общем, может просто закрыть разделы да и забыть про них?
  • Вопрос задан
  • 636 просмотров
Пригласить эксперта
Ответы на вопрос 1
@VeryLongAgoDid
Всё возможно
Попробуем расшифровать:
Всего 2000+- страниц. 200+- остались, перемещены и а них сделаны редиректы. 1800+- удалены и больше не актуальны для сайта.

А теперь вывод. Вы настроили чтобы рабочие ссылки робот не потерял и хотите их запретить вообще. Если Вы закроете раздел целиком, то это скажет что вы удалили 2000 страниц, а это не так. Пусть ответ будет не 404 но страницы для поисковика вы сделаете недоступными. А значит из поиска они тоже постепенно уйдут.

Мне кажется, что вы уже сделали достаточно для корректной работы, настроив редиректы. А запрещать обход раздела которого нет и к которому обращения сойдут на нет бессмысленно.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы