vlad2189
@vlad2189

Проблема с robots.txt?

Здравствуйте! Ни как понять не могу что не так с файлом robots.txt

Яндекс на него ругается пишет:
В файле robots.txt задана противоречивая директива Host
В директиве Host указан домен, где аналогичные указания в файле robots.txt отсутствуют. Чтобы указания директивы Host были учтены, идентичные директивы должны присутствовать в файлах robots.txt всех зеркал сайта.
Проверьте файл robots.txt и устраните противоречия.

Сам файл robots.txt:

User-Agent: *
Disallow: /login/
Disallow: /registration/
Disallow: /feed/
Disallow: /admin/
Disallow: /stream/
Disallow: /rss
Disallow: /search/$
Disallow: /search/topics/$
Disallow: /search/opensearch/$
Disallow: /my/$
Disallow: /blog/draft/
Disallow: /content/draft/
Disallow: /draft/
Disallow: /comments/
Disallow: /tag/$
Disallow: /talk/
Disallow: /profile/
Disallow: /subscribe/$
Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml
  • Вопрос задан
  • 1827 просмотров
Пригласить эксперта
Ответы на вопрос 3
BuriK666
@BuriK666
Компьютерный псих
у вас точно домен site.ru, а не www.site.ru?
Ответ написан
Комментировать
VasyaPertrov
@VasyaPertrov
Изготовление и безопастность сайтов. WP и др.
В директиве Host указан домен, где аналогичные указания в файле robots.txt отсутствуют

Перевожу с русского на русский: подсунутый боту роботс отличается от того, что достаёте бот с указного в host домена.
Ответ написан
Комментировать
vlad2189
@vlad2189 Автор вопроса
Вот в том то и проблема, что тот который указан и есть основной домен!
У меня стоит редирект с http на https + с www на без www = https://site.ru
Так же в ЯВ я указал что сайт без www
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы