usdglander
@usdglander
Yipee-ki-yay

Как правильно использовать Allow и Disallow в robots.txt?

Добрый день.
На сайте есть куча "мусорных" ссылок вида:
http://site.com/slug_link_1/temp_name_1/
http://site.com/slug_link_2/temp_name_2/
http://site.com/slug_link_3/temp_name_3/

Пытаюсь запретить их индексацию в robots.txt, но так чтобы ссылки вида site.com/category/it индексировались. Прописываю в файле:
...
Disallow: /*/*/
Allow: /category/*/
...

Сомневаюсь в правильном ли порядке записаны правила? Или всё таки надо сначала разрешать категории, а потом запрещать всё остальное?
Заранее спасибо за ответы.
  • Вопрос задан
  • 338 просмотров
Решения вопроса 1
gobananas
@gobananas
finishhim.ru
Если мусорных больше, то запретите всё и разрешите избранные, например:
Disallow: /
Allow: /category/it


Если сомневаетесь внутри яндекс-вебмастера есть инструмент для проверки robots.txt можно задать правила прям там в окне, потом ввести URL и посмотреть будет ли он по ним индексироваться, воспользуйтесь.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы