@Kaz52

Что запрещать в robots.txt?

Есть сайт на хостинге. Лежит в /www/сайт.com/index.html
Вопросы.
Что нужно запретить индексировать?
Перед папкой www папки по типу logs, tmp и т.д. Их нужно запрещать индексировать ?
В папке сайт.com есть папки css, js, img, fonts и файл .htaccess. Нужно запрещать или нет ?
  • Вопрос задан
  • 1144 просмотра
Решения вопроса 1
gobananas
@gobananas
finishhim.ru
Перед папкой www папки по типу logs, tmp и т.д. Их нужно запрещать индексировать ?

Нет

В папке сайт.com есть папки css, js, img, fonts и файл .htaccess. Нужно запрещать или нет ?

Нет

Запрещать индексировать нужно каталоги со страницами, которые вы не хотели бы что бы попали в индекс
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 2
opium
@opium
Просто люблю качественно работать
Ничего из этого запрещать не надо, как вы такие глупости выдумали?
Ответ написан
Комментировать
Обычно запрещают к индексированию технические разделы сайта, например, админку. Через Я.Вебмастер в разделе индексация вы можете посмотреть, какие страницы находит робот и считает их некачественными и малополезными, а дальше уже решать вам - закрывать их или дорабатывать.

Стили и скрипты поисковые системы уже учатся обрабатывать, так что закрывать их не нужно. Пару лет назад я снял видеовыпуск по настройке robots.txt, советую посмотреть. Прольет свет на многие моменты: https://www.youtube.com/watch?v=xtxuWCzkyL0
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы