@sashakirichenko

Народ оцените плиз, нормальный ли роботс.тхт?

User-agent: *
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/*.css*
Allow: /wp-content/*.js*
Allow: /wp-includes/*.js*
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /wp-comments
Disallow: */trackback
Disallow: */comments
Disallow: /*.php
Disallow: /*?replytocom
Disallow: /*?turl
  • Вопрос задан
  • 71 просмотр
Пригласить эксперта
Ответы на вопрос 2
@WSGR
Хостинг, платежи, безопасность, IT-инфраструктура
Директивы валидные.
Но:
- не понятен смысл использования * после .js/.css (даже если зачем-то надо, вероятно логичнее был бы символ $)
- смысл разрешения индексации этих файлов в явном виде.
- смысл запрета индексации некоторых из указанных разделов (например комментариев).

Впрочем, вам виднее, что именно вы хотите сделать.

Что можно добавить:
- Sitemap
- Директиву Host, но обращаю внимание, что ее нужно размещать в отдельном разделе исключительно для бота Yandex (т.к. например Гуглом она не поддерживается), на практике вероятно нормально распарсит, просто проигнорировав строку, но формально, может прекратить обработку на невалидной строке.
Ответ написан
Service_Rookee
@Service_Rookee
Добрый день!
Согласны с предыдущим оратором, что нет смысла ставить * после «.css» и «.js». Ее отсутствие также означает любое количество символов после.
Да, не хватает директивы «Sitemap: https://site.ru/sitemap.xml».
А вот Host уже можно не указывать. Яндекс остановил поддержку этой директивы полтора года назад. Теперь переезд сайта можно делать сразу при помощи 301-го редиректа.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы