Armashko
@Armashko

Оптимальный robot.txt для Wordpress под Google и Yandex?

Добрый день !

Нужен оптимальный robot.txt для поисковых систем Google и Yandex, в сети много информации, поэтому не могу выбрать чей то конкретный вариант, так как много споров в комментариях.

Выложите пожалуйста безопасный и действующий, опробованный вариант robot.txt

Спасибо за внимание !
  • Вопрос задан
  • 575 просмотров
Пригласить эксперта
Ответы на вопрос 3
suebass
@suebass
Helping hand for people
The file format of robots.txt will remain the same. You should check below resource for to create robots.txt for WordPress for Google and Yandex web crawlers:

www.robotstxt.org/robotstxt.html
https://yandex.com/support/webmaster/controlling-r...
https://support.google.com/webmasters/answer/60625...
Ответ написан
@Barmunk
Нужен оптимальный robot.txt для поисковых систем Google и Yandex, в сети много информации, поэтому не могу выбрать чей то конкретный вариант, так как много споров в комментариях.

Хотите чтобы и тут были такие же споры? =) Я использую стандартный robots.txt, а запрещаю уже через

<meta name="robots" content="noindex,follow"/>

Рулить этим всем мне отлично помогает Yoast SEO
Ответ написан
Комментировать
Bender_Render
@Bender_Render
Использую этот.
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */page/*
Disallow: /xmlrpc.php
Disallow: /wp-json/
Disallow: */feed
Disallow: */author

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

host: site.ru

Sitemap: site.ru/sitemap.xml
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы