xmoonlight
@xmoonlight
https://sitecoder.blogspot.com

Правила в robots.txt влияют на отображение баннеров и внешние ресурсы! Кто сталкивался и как решали?

Доброго дня, всем.

Столкнулся с проблемой (раньше всё работало нормально)...

При проверке из консоли вебмастер-гугла страницы, пишет, что
все внешние линки, включая баннеры и счётчики, заблокированы файлом robots.txt!
Баннеры - просто никак не показываются...
(Host: был указан до этого и сейчас указан...)

Разве robots.txt работает на внешние ресурсы (что-то не помню такого)?!

Кто сталкивался уже с подобным?
Что это за бага и как бороться?
(причина проста: много "левых" урлов, которые не нужно открывать из Disallow)

UPD: Код из robots.txt:
User-agent: *
Host: https://domain.com
Disallow: /cache/
Disallow: /cli/
Disallow: /*.ttf
Disallow: /*.svg
Disallow: /*.pdf
Disallow: /*.txt
Disallow: /*.doc
Disallow: /*.css
Disallow: /*.js

Disallow: *?ax=boost&print=1
Disallow: */?
Disallow: *?*format=
Disallow: *?*=rss
Disallow: */index/
Disallow: */index.html$

Allow: */pagead/*
Allow: /


Allow: */pagead/* и Allow: / добавил недавно...
  • Вопрос задан
  • 49 просмотров
Пригласить эксперта
Ответы на вопрос 1
SEOBot
@SEOBot
SEO Noob
Былобы лучше если вы выложили свой файл robots.txt чтобы мы не угадывали причины. Но а так , можно предположить :
- у вас в файле robots.txt расписаны правила для разных ботов (не одно правило для ВСЕХ ботов, а отдельные правила для разных ботов)
- у вас в файле для ботов (краулеров) которые отвечают за медийку стоит (вероятно) Disallow: / - что запрещает краулеру заходить на страницу, таким образом он не может проверить, удовлетворяет ли контент вашей страницы требованиям.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы