Для отдельного поискового робота действительна только одна группа записей. Чтобы определить ее, он должен найти группу, для которой указан наиболее строгий, но подходящий агент пользователя. Все остальные группы записей будут проигнорированы.
В файле robots.txt робот проверяет наличие записей, начинающихся с User-agent:, в них учитываются подстроки Yandex (регистр значения не имеет) или * . Если обнаружена строка User-agent: Yandex, директивы для User-agent: * не учитываются. Если строки User-agent: Yandex и User-agent: * отсутствуют, считается, что доступ роботу не ограничен.
Простой
