@Baxterok

С какой скоростью работают поисковые боты?

Вот интересно, почему на популярных сайтах поисковых ботов не блокируют как возможную ддос атаку? Это из-за их медленной работы или сервера их определяют и дают возможность работать?
  • Вопрос задан
  • 2536 просмотров
Пригласить эксперта
Ответы на вопрос 3
Fesor
@Fesor
Full-stack developer (Symfony, Angular)
просто для больших сайтов это пшик. Просто как еще один пользователь который лазает по страницам.
Ответ написан
opium
@opium
Просто люблю качественно работать
99 процентов сайтов никак не блокирует каких либо ботов
Ответ написан
Комментировать
@Myateznik
У большинства поисковых ботов установлено правило: 1 страница = 1 секунда. Надо также учитывать, что у ботов есть некоторая очередь, где страницы разных сайтов находятся вперемешку. Благодаря правилу и особенности работы поисковых ботов, они не являются DDOS угрозой, также как и человек открывший сразу 2 страницы одного сайта за ~2 секунды.

(Индексирование тысяч страниц за промежуток времени обеспечивается количеством ботов. 1000 страниц в минуту = 16-17 параллельно работающих ботов)
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы