@vova1213

Как ограничить индексацию сайта яндексом?

Здравствуйте. Яндекс как ненормальный каждый день в течение недели полностью индексирует все страницы моего сайта. Это как бы хорошо, но у меня установлен API, который срабатывает каждый раз, а количество запросов по нему ограничено тарифом. Раньше все было нормально, индескировал пару сотен в день и все, а сейчас по 7 000.
Как можно ограничить индексацию? Читал, что можно запретить индексацию от основного бота, разрешив только дополнительным и наоборот, поможет ли это?
  • Вопрос задан
  • 42 просмотра
Пригласить эксперта
Ответы на вопрос 1
customtema
@customtema
Кастомный софт и бизнес-аналитика
robots.txt

User-agent: Yandex
Crawl-delay: 2.0 # задает таймаут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды


https://yandex.ru/support/webmaster/controlling-ro...
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через TM ID
Похожие вопросы