@adrenalinruslan

Как правильно настроить robots?

Ребят, как правильно настроить robots.txt ?

Я хотел бы чтобы роботы могли лишь заходить на след ссылки и все, а на другие не обращали внимание:

https://test.ru/

/help
/catalog/1 - и тд
/product/1 - и тд

А чтобы в

/main/user/administration/login
/main/user/administration/settings
/main/user/administration/logout и тд

Не имел доступ
  • Вопрос задан
  • 118 просмотров
Пригласить эксперта
Ответы на вопрос 2
igorux
@igorux
Можно всё по умолчанию запретить, а потом разрешать, что захочется. А можно наоборот.

Раз:
Allow: /help
Allow: /catalog/
Allow: /product/
#разрешили разрешённое
Disallow: / #запретили остальное

Два:
Allow: / #разрешили всё
Disallow: /main/user/administration/ #запретили запрещённое

Совместное использование директив
Ответ написан
для гугла эти опции носят рекомендательный характер, если по этим адресам что-то попало в индекс, или есть внешняя ссылка, эти адреса будут просканированы все равно.
Для того что бы закрыть от робота в теле страницы должно быть прописано в метатеге запрет, либо заголовок HTTP с запретом, либо ответ 401 - это запрос пароля, или 403/404/410
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы