Столкнулся с необходимостью отлова парсеров сайта.
Не хотелось бы случайно забанить поисковых роботов.
Написал скрипт, который анализирует поведение запросов с IP адреса.
Помечаю роботов при помощи обратного запроса как
здесь
В логах есть несколько IP c user_agent YandexAccessibilityBot, но не подтверждены обратным запросом.
На данный момент нет ни одного подтвержденного IP с user_agent YandexAccessibilityBot
Боты, которые нормально определились:
YandexBot/3.0
YandexMobileBot/3.0
YandexImages/3.0
и еще целая куча
YandexAccessibilityBot не определяется в принципе обратным запросом?
Использую PHP
$ptr=gethostbyaddr($ip);
gethostbyname($ptr);
ip которые подписались, но не подвердились обратным запросом:
178.154.155.102
178.154.155.101
5.45.211.60
5.45.216.109
5.45.216.110
5.45.211.61
Пробивая ip через сервисы
здесь здесь получаем информацию, что ip принадлежат яндексу.
Что можете сказать по этой ситуации?
Если у вас подтвердился ip с этим ботом, то скиньте ip.
Средний
Средний
