@Azami

Как правильно указать host и sitemap в robots.txt?

Здравствуйте, на разных крупных сайтах наблюдаю разные варианты размещения директив hosts и sitemap.
Подскажите, имея настройки для разных роботов в виде:
User-agent: Yandex

User-agent: Googlebot

User-agent: *

Куда вставлять Sitemap и Hosts - в каждую, или только в одну или через строку?
  • Вопрос задан
  • 40 просмотров
Пригласить эксперта
Ответы на вопрос 1
@La1serg
Это вообще никакого значения не имеет. В панелях вебмастера укажи, какую версию сайта считать основной и где лежит карта сайта.

Открою пару секретов:
1. host уже давным давно deprecated
2. Если сайт нормально сделан, то карта сайта не особо и нужна
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через TM ID
Похожие вопросы