Expany
@Expany
$this->get('skill');

Как блокировать все возможные поисковые боты?

Есть задача заблокировать доступ к индексации всеми возможными поисковыми системами и их пауками\ботами.
Хочется сделать правильно\канонично.
В текущий момент раздумываю над чем-то подобным:
$ua = $_SERVER['HTTP_USER_AGENT'];
if(mb_strpos($ua, "bot") || mb_strpos($ua, "crawler") || mb_strpos($ua, "spider")){
header("Location: some.url");
}
else{
...
Содержимое страницы
...
}

Но не уверен, что это правильно или, что учтены все возможные варианты.
  • Вопрос задан
  • 272 просмотра
Решения вопроса 4
DevMan
@DevMan
а в чем смысл? нормальные поисковики реагируют на запрет в роботс.тхт, а ненормальные могут иметь какой угодно UA.
Ответ написан
m0pfin
@m0pfin
Можешь неавторизованным пользователям ничего не показывать, бот как раз не увидит
Ответ написан
Taraflex
@Taraflex
Ищу работу. Контакты в профиле.
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
Выведите 2-е похожие картинки, но на одной из них, заранее уберите какой-то предмет. И попросите выбрать предмет, которого не хватает, с помощью одного клика/тапа по любой из картинок.
Промахнулись - новая задачка, угадали - пускаем к контенту.
Генерируйте задачки процедурно!

Для живого человека - это будет просто (главное слишком мелкие предметы не делать), а для большинства ботов - это будет непреодолимой преградой.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы