Как в access.log выделить ботов и отправить их в fail2ban?
Всем привет!
Есть роботы которые откровенно парсят проект, а есть добросовестные пользователи, которые генерируют большое число запросов. limit_req не подходит, потому что один IP может быть более чем у одного пользователя, да и один пользователь в какие-то единичные моменты времени может быть сверх активен. Так же есть адреса на которые допустимо много запросов.
Роботам свойственно перебирать ID, например, /page/1, ..., /page/1000.
Так же нормальный человек не будет запрашивать index.php 1000 раз в минуту.
Конечно роботов можно обнаруживать в ручном режиме, но хотелось бы это автоматизировать.
Anton B: ну так для этого у вас лог есть у меня его нет чтобы что то составлять. Отдел аналитиков вам скажет повторяющиеся тенденции и обычно на нагруженных проектах access лог отключен, зачем тратить уйму времени на его обработку. Ну и если это веб приложние доступно широкому кругу лиц смысл вообще в этом тогда? Я думаю ваш случай это найти грамотного человека и заплатить денег, так как слишком много входных данных. За бесплатно врятли кто будет ршать вашу проблему
