@apokin
Веб-разработчик

YandexAccessibilityBot не подписывает себя для обратного запроса?

Столкнулся с необходимостью отлова парсеров сайта.
Не хотелось бы случайно забанить поисковых роботов.
Написал скрипт, который анализирует поведение запросов с IP адреса.
Помечаю роботов при помощи обратного запроса как здесь

В логах есть несколько IP c user_agent YandexAccessibilityBot, но не подтверждены обратным запросом.
На данный момент нет ни одного подтвержденного IP с user_agent YandexAccessibilityBot
Боты, которые нормально определились:
YandexBot/3.0
YandexMobileBot/3.0
YandexImages/3.0
и еще целая куча

YandexAccessibilityBot не определяется в принципе обратным запросом?

Использую PHP
$ptr=gethostbyaddr($ip);
gethostbyname($ptr);

ip которые подписались, но не подвердились обратным запросом:
178.154.155.102
178.154.155.101
5.45.211.60
5.45.216.109
5.45.216.110
5.45.211.61

Пробивая ip через сервисы здесь здесь получаем информацию, что ip принадлежат яндексу.
Что можете сказать по этой ситуации?

Если у вас подтвердился ip с этим ботом, то скиньте ip.
  • Вопрос задан
  • 79 просмотров
Решения вопроса 1
@apokin Автор вопроса
Веб-разработчик
На данный момент учитываю, что возможно YandexAccessibilityBot либо намерено, либо из-за бага себя не подписывает для обратного запроса. Используя сервис помечаю эти ip как ботов яндекса.
Проблема на данный момент выявлена только с этим ботом. Все остальные боты яндегса гугла маила и т.п. определились нормально.
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
Специально посмотрел, все запросы YandexAccessibilityBot приходят с IP адресов в разных подсетях. У всех IP адресов обратная зона DNS вида XX-XXX-XX-XXX.spider.yandex.com. Так что вполне даже определяется.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
HTML Academy Санкт-Петербург
от 110 000 до 130 000 руб.
CENTRA Новокузнецк
от 50 000 руб.
от 80 000 до 150 000 руб.
26 марта 2019, в 03:19
100000 руб./за проект
26 марта 2019, в 01:09
40000 руб./за проект