Traders
@Traders
Фото-иллюстратор, предприниматель

Как проверить ошибки в файле Robot.txt?

Посмотрите, пожалуйста, скриншот. Нужно указывать все поисковые системы, или как там это правильно называется, в User-agent: * ? Yandex, Googlebot
Пока не обновил файл robot.txt, боюсь испортить. Нет ничего лишнего или может что забыл? Буду очень благодарен. Sitemap нужно все 5 указывать? Одна ссылка ведет на все 5

37943a03abb0454390c0e70fe51eae39.png09214c0c287f4549aaac5eb7ae87bc41.png

Исправил, так лучше? Ничего лишнего?
User-agent: *
Allow: /
Disallow: /wp-admin
Disallow: */feed
Disallow: /cgi-bin
Disallow: /xmlrpc.php?rsd
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /category/
Disallow: /author/
Disallow: /*?*
Disallow: /tag
Disallow: /js/
Disallow: /20*/*
Sitemap: andreyalexandrov.com/sitemap_index.xml
Host: andreyalexandrov.com

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/
  • Вопрос задан
  • 914 просмотров
Решения вопроса 2
2amedia
@2amedia
Сайты на Bitrix - 1000 р/час
добавьте в самый конец директиву Host:: http://andreyalexandrov.com
С sitemap все нормально

и еще возможно вот это
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /*?*
Disallow: /tag

ну и в самый конец спец-правила

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/
Ответ написан
@RETAND
Имеем такой robots.txt для wordpress, индексирует отлично:

User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /*?*
Disallow: /comment-page-*
Disallow: /*/?replytocom=*
Disallow: /tag
Disallow: /category/
Disallow: /author/
Disallow: /20*/*
Disallow: /page/*

User-agent: Yandex
Allow: /wp-content/uploads
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: /*?*
Disallow: */feed
Disallow: /comment-page-*
Disallow: /*/?replytocom=*
Disallow: /tag
Disallow: /category/
Disallow: /author/
Disallow: /js/
Disallow: /20*/*
Disallow: /page/*
Host: www.famreal.com

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Sitemap: www.famreal.com/sitemap.xml
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
@ramjke
Disallow /wp-admin уберите слеш в конце
Sitemap кушает только один параметр, бот кушает только один Sitemap. Склейте пять документов в один или сделайте один индекс-файл по нескольким sitemap.
Ответ написан
Negoro
@Negoro
Руководитель студии разработки сайтов Freelab.ru
Нужно прописать отдельно для Яндекса (добавить директиву Host:), Гугла и для всех.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы