@Igor_criket
Дизайн сайтов

Настройки .htaccess — как запретить индексацию от всех ботов?

Здравствуйте, подскажите как правильно заполнить .htaccess?
Задача такая, запретить ботом видеть мой сайт
если заполнить так:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Googlebot) [NC]
RewriteRule .* - [R=403,L]

Все работает, заходишь под гугл ботом, то сайт он не видит, а видит ошибку 403, но если составить большой список вида

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Googlebot) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (google) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (HPWebPrintSmart) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (HPWeb PrintSmart) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (HP WebPrintSmart) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (HP Web PrintSmart) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (AskJeeves) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Ask Jeeves) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (HTTrack) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Indy Library) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Mediapartners) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (RPT-HTTPClient) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (ListChecker) [NC]
RewriteRule .* - [R=403,L]

и более, то вылетает ошибка 500 и сайт уже вообще не работает

как правильно перечислить всех ботов?
  • Вопрос задан
  • 245 просмотров
Решения вопроса 1
@402d
начинал с бейсика на УКНЦ в 1988
RewriteEngine On ОДИН РАЗ
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы