Задать вопрос
@dmitryi_k
google

Перейдет ли ПС по ссылке если страница в robots.txt?

На сайте есть ссылки на страницу например /link.php
На ссылках нету rel="nofollow" но в robots.txt есть заметка
Disallow: /link.php*
Будет ли поисковая система заходить на данную страницу?
Если да, то как можно запретить ПС посещать определенную страницу?
  • Вопрос задан
  • 792 просмотра
Комментировать
Подписаться 2 Оценить Комментировать
Решения вопроса 1
Nikolaos
@Nikolaos
Запретить никак, захочет так зайдёт куда угодно. nofollow - запрещает ссылку к индексу. robots.txt - запрещает индексацию страницы.

Я задавал вопрос когда то в Яндекс:

Здравствуйте!

У меня есть страница на сайте, которую я не хочу видеть в поиске, я её закрыл от индексации в robots.txt.
Но на эту страницу ссылается много других страниц, как внешних так и внутренних.

Вопросы:

1) Если количество ссылок будет увеличиваться, то робот в какой то момент решит её добавить в индекс или он всё таки будет всегда руководствоваться запретом в robots.txt ?

2) Нужно ли ссылки ведущие на страницу закрытую в robots.txt окружать тегами или не нужно или это роли не играет ?

Ответ:

1. Наш робот не индексирует запрещённые в robots.txt страницы ни при отсутствии на них ссылок, ни при наличие какого бы то ни было количества таковых.

2. Никакой существенной роли это не играет. Есдинственное, на что влияют ссылки на запрещённые к обходу страницы - это на хранение информации об этих страницах в базе робота. При отсутствии ссылок информация о них полностью удаляется из базы робота. При наличии ссылок, робот помнит о страницах, чтобы в случае снятия запрета быстро их проиндексировать.
Ответ написан
Комментировать
Комментировать
Пригласить эксперта
Ответы на вопрос 3
DmitryPhilimonov
@DmitryPhilimonov
Если нужно, чтобы эти ссылки не попали в выдачу, то robots.txt хватит. Он говорит поисковому боту, куда переходить не нужно, для этого и создавался этот файл. Понятное дело, что бот может туда перейти, если захочет, этот файл носит рекомендательный характер, однако поисковые системы вроде Гугла/Яндекса следуют правилам в robots.txt.

Насчет rel="nofollow": он не нужен. Подробнее о нем я недавно отвечал в другом вопросе.

Поэтому ответ такой: поисковая система не будет заходить на эту страницу, индексировать ее не будет.
Ответ написан
Комментировать
Комментировать
un1t
@un1t
Конечно перейдет, запретить нельзя. А в чем проблема если поисковый робота туда перейдет?
Ответ написан
Комментировать
Комментировать
aldous
@aldous
Google Top Contributor
Для Google:
robots.txt есть заметка
Disallow: /link.php*
Будет ли поисковая система заходить на данную страницу?

Матчасть:
Robots.txt - конфиг, управляющий доступом для краулера. По русски процесс - сканирование.
В примере доступ к ссылке запрещён, сканироваться эта страница не будет. Если она однажды проиндексировалась, то больше в связи с этим не обновится в индексе.
Ответ ближе к "нет". Этот процесс выглядит несколько иначе, чем просто "заходит-не заходит".

Если да, то как можно запретить ПС посещать определенную страницу?

Метатег robots с параметром noindex полностью запретит и сканирование и индексирование, и исключит страницу из результатов поиска.
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Разработчик мобильных приложений/Android Developer - webview
MST
от 1 000 $
Специалист по контекстной рекламе, SEO
Rails • Ларнака
от 50 000 ₽
Маркетолог
Fancy state • Москва
от 60 000 до 80 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Взлом автомобильной программы
19 апр. 2024, в 05:01
999999 руб./за проект
Доработать телеграм бота
19 апр. 2024, в 03:52
1000 руб./за проект
Написать код на python
19 апр. 2024, в 03:01
1000 руб./за проект
Ещё заказы