Что написать в файле robots.txt для Modx?

Возник вопрос, как должен выглядеть правильный файл robots.txt для modx? На всех ресурсах написано, что надо закрывать от индексации эти каталоги, то есть так:
User-agent: *
Disallow: /manager/
Disallow: /assets/components/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Disallow: *?

Но, если в целях безопасности директории manager, core, connectors были переименованы, какой смысл был изменять их названия, если эти названия затем прописывать в robots.txt? Что тогда указать в robots.txt и как закрыть ненужные для seo директории от индексации?
  • Вопрос задан
  • 78 просмотров
Решения вопроса 1
@Raina97
В этих строках:
Disallow: /core/
Disallow: /assets/components/
Disallow: /connectors/
Нет смысла, т.к. если права настроены правильно, они итак выдают 403.

Добавить:
Host: site.com
Sitemap: site.com/sitemap.xml
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
zooks
@zooks
Frontend и Django
Если переименованы, то в robots.txt их не следует указывать.

Эту строку лучше тоже удалить, ведь часть стилей может читаться из директории с компонентами.
Disallow: /assets/components/
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через TM ID
Похожие вопросы
Sveak Барнаул
от 40 000 руб.
Reklama Guru Санкт-Петербург
от 50 000 до 60 000 руб.
Greencow Studio Москва
от 80 000 до 120 000 руб.
18 авг. 2018, в 09:13
13000 руб./за проект
18 авг. 2018, в 01:10
17000 руб./за проект
17 авг. 2018, в 23:00
5500 руб./за проект