Ответы пользователя по тегу robots.txt
  • Правила в robots.txt влияют на отображение баннеров и внешние ресурсы! Кто сталкивался и как решали?

    SEOBot
    @SEOBot
    SEO Noob
    Былобы лучше если вы выложили свой файл robots.txt чтобы мы не угадывали причины. Но а так , можно предположить :
    - у вас в файле robots.txt расписаны правила для разных ботов (не одно правило для ВСЕХ ботов, а отдельные правила для разных ботов)
    - у вас в файле для ботов (краулеров) которые отвечают за медийку стоит (вероятно) Disallow: / - что запрещает краулеру заходить на страницу, таким образом он не может проверить, удовлетворяет ли контент вашей страницы требованиям.
    Ответ написан
  • Почему нет robots.txt и sitemap.xml в директории сайта WordPress?

    SEOBot
    @SEOBot
    SEO Noob
    Отвечал на данный вопрос тут toster
    В Вашем случае Yoast генерирует и Robots.txt и вероятно sitemap.xml
    Если вы желаете внести изменения в данные файлы, вы можете создать файлы вручную в папке. У созданных файлов будет приоритет.
    1) За основу robots.txt вы можете взять содержимое вашсайт/robots.txt
    2) sitemap.xml можете сгенерировать вручную и прописать его в robots.txt и загрузить его в Webmaster Yandex/Google.
    Ответ написан
  • Редирект php, есть ли расширенные возможности?

    SEOBot
    @SEOBot
    SEO Noob
    Сергей, возможно у Вас есть ошибки в robots.txt
    Disallow: /goto/link.php*

    Попробуйте проверить результаты в разделе robots.txt в Google Seacrh Console (WMT)
    Он четко покажет срабатывает ли правило для исключение, и если срабатывает то подсвечивает какое.
    Ответ написан
  • Как закрыть от роботов директорию, в которой лежат папки с сайтами?

    SEOBot
    @SEOBot
    SEO Noob
    robots.txt положить в корне сайта
    Дописать после основных параметров, перед sitemap и host (если они у вас есть)
    - если хотите индивидуально какието сайты отключить от индексации
    Disallow: /projects/site1/
    Disallow: /projects/site2/
    - если хотите всю папку запретить индексировать
    Disallow: /projects/
    Обратите внимание на наличие "/" в конце строки.

    Если проекты уже проиндексировались их можно удалить в GSC (Google Search Console)
    Google Index -> Remove URLs
    Ответ написан
  • Robots.txt исчез WordPress?

    SEOBot
    @SEOBot
    SEO Noob
    Некоторые SEO плагины, при отсутсвии в корне robots.txt создают/генерируют виртуальный файл "robots.txt".
    Если данного файла нет в корневой директории, то по запросу site/robots.txt этот файл отдается плагином.
    Этот функционал удобен, если нет доступа к файловой системе.
    Я вижу у Вас установлен Yoast (который кстати стоит обновить до последней версии).
    Для редактирования robots.txt
    1) Либо воспользуйтесь функционалом YOAST для редактирования robots.txt https://kb.yoast.com/kb/how-to-edit-robots-txt-thr...
    2) Либо зайдите по ссылке sitename/robots.txt. Скопируйте содержимое файла в отдельный файл на компьютере. Залейте данный файл в корневую директорию с именем robots.txt

    Я за 2й вариант. Потому, что он более прозрачен. И если будет несколько человек работать с сайтом, это не будет создавать путанницы.
    PS. Сейчас по запросу robots.txt с сайта выдается 404 страница.
    Ответ написан
  • Что делать с дублями?

    SEOBot
    @SEOBot
    SEO Noob
    Если данные страницы в свое время были в индексе поисковых систем, вероятно на них кто-то мог ссылаться. Потому не стоит их просто выкидывать из поиска, стоит использовать их ссылочный профиль (некоторые покупают ссылки =) а вы хотите их просто в 404 пустить). Так же не стоит забывать о том, что URL которые уже ранжируются в поисковых системах на начальном этапе миграции, будут иметь позиции лучше чем страницы с новыми URL (если не использовать 301). Потому обязательно надо сделать редиректы, для того чтобы информация накопленная поисковыми системами о этих страницах не удалилась, а передалась на новую.
    Идеальным вариантом решения будет использование 301 редиректов в htaccess или nginx.conf со страниц с дублями (старых страниц) на один URL (новую страницу).
    Хорошая статья о 301 редиректах https://devaka.ru/articles/redirect-301
    Второй вариант, это использование старых страниц дублей с прописанным “rel canonical” указывающим на новую страницу. Данный вариант менее приемлем, но удобен (а иногда и единственный вариант) для некоторых проектов (например в случае если нет возможности править htaccess, либо используется ”кастомная” CMS).
    Пример и разъяснения по canonical https://devaka.ru/articles/link-rel-canonical
    И не забывайте использовать GSC (Google Search Console – по старому WMT). В нем можно посмотреть список страниц на которые были заходы и сайт выдал 404 ошибку (стоит добавить этот список в список редиректов если случайно пропустили).
    Ответ написан