Задать вопрос
@trambi
wordpress

Как защитить rss от граберов, но при этом разрешить индексацию для Турбо-страниц Яндекса?

Хочу в вебмастере яндекса подключить турбо-страницы через rss, но от граберов у меня закрыт rss-канал. Как бы сделать доступ к RSS только для турбо-страниц яндекса? Wordpress.
  • Вопрос задан
  • 485 просмотров
Комментировать
Подписаться 3 Средний Комментировать
Решения вопроса 1
igorux
@igorux
Robots.txt граберам не указ.
Нужно именно закрыть доступ, а не повесить табличку «Закрыто».

Как справедливо замечено выше, на уровне конфига сервера.
Например, для Апача добавить в каталог с фидом .htaccess с примерно таким содержанием:

SetEnvIf User-Agent YandexBot/3.0 welcome=1

Order Allow,Deny
Deny from all
Allow from env=welcome

И разрешить Яндексу индексацию в robots.
Ответ написан
Комментировать
Комментировать
Пригласить эксперта
Ответы на вопрос 1
2ord
@2ord
При помощи User-Agent можно разрешить доступ к ресурсу только для избранных на уровне конфигурацией веб-сервера Apache .htaccess / Nginx.
Ответ написан
1 комментарий
1 комментарий
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
WordPress developer (Contractor, Remote)
Hicaliber
До 2 300 $
Разработчик на Wordpress
Nocodered
от 40 000 до 140 000 ₽
Контент-менеджер, редактор (web3, крипто, финансы)
Bitbanker.ru
от 80 000 до 100 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Доработка парсера
23 апр. 2024, в 19:21
300 руб./за проект
Верстка сайта
23 апр. 2024, в 19:05
15000 руб./за проект
Скрипт рассылки голосовых для ASTERISK
23 апр. 2024, в 18:47
10000 руб./за проект
Ещё заказы