Задать вопрос
@Leffken
Студент, как студент!
robots.txt

Как правильно написать robots.txt?

Всем привет.
Пишу роботс и столкнулся с проблемой.
Нужно запретить для индексирования все страницы пагинации, но 1 оставить, делаю так :
user-agent: *
Disallow: */*page=
Allow: */*page=1

Это решит мою задачу ? Или же под Disallow попадет и */*page=1
  • Вопрос задан
  • 196 просмотров
Комментировать
Подписаться 1 Оценить Комментировать
Решения вопроса 1
XXX
@XXX
Решение где-то рядом
Лев К вторая звездочка не нужна. Справка по настройке в Яндекс: https://yandex.ru/support/webmaster/controlling-ro...
User-agent: *
Allow: /*page=1
Disallow: /*page=
Ответ написан
Комментировать
Комментировать
Пригласить эксперта
Ответы на вопрос 1
@gabalugi90
Все нормально 
user-agent: *
disallow: /
allow: /page=1
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
DevOps-инженер
САМО-Софт • Москва
До 150 000 ₽
Go Developer
INDEX
от 300 000 ₽
Программист 1С
Виктория • Москва
от 300 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Требуется Pure PhP + Symfony (Обязательно) разработчик для CRM/ERP
26 апр. 2024, в 14:07
3000 руб./в час
Спарсить каталог сайта
26 апр. 2024, в 14:06
15000 руб./за проект
Доработка бота на языке C++ (D) (достойная оплата труда)
26 апр. 2024, в 14:06
55555 руб./за проект
Ещё заказы