Задать вопрос
ASP
@ASP
веб-разработка

Как исключить индексацию разрабатываемого сайта поисковиками?

Добрый день!
уже второй раз приходится менять домен для тестовой версии сайта. Сначала разрабатывался новый сайт га new.site.ru, позже он был проиндексирован поисковиками, хотя на добавление в поисковую базу никто не делал, да и присутствует фал robot.txt. В результате сделали перенаправление всех через 301 redirect на основной сайт, домен заменили, на  www2.site.ru, но его постигла та же участь (через 3 месяца).

Паролить сайт через htpasswd? другие способы есть?
  • Вопрос задан
  • 2936 просмотров
Комментировать
Подписаться 2 Оценить Комментировать
Пригласить эксперта
Ответы на вопрос 5
DmitriyEntelis
@DmitriyEntelis
Думаю за деньги
Как минимум robots.txt c cодержимым
User-agent: *
Disallow: /

По хорошему этого достаточно.
Но можно дополнительно закрывать basic auth

Кстати что бы сайт появился в поисковиках нет необходимости его добавлять руками.
Брендированные браузеры, яндекс метрика, переходы на внешние сайты где установлена метрика - и поисковики уже знают ваш url )
Ответ написан
Комментировать
Комментировать
@Heafy
во-первых, не ставить на новый сайт ссылки доступные роботам поисковых систем, тогда сайт просто не возможно будет найти, не зная о нём.
во-вторых, присутствие файла robots.txt ничего не даст, в нём необходимо прописать нечто вроде Disallow: / (подробнее ищите "директивы robots.txt")
ну и в-третьих, попробуйте страницу заглушку.
Ответ написан
Комментировать
Комментировать
ASP
@ASP Автор вопроса
сделано все было:
User-agent: *
Disallow: /
да, скорее всего, из-аза метрики, которая была и на основном сайте и на этот была перелита в момент синхронизации содержимого реального сайта и разрабатываего.
придется сделать защиту через htpasswd
Ответ написан
Комментировать
Комментировать
Pingvi
@Pingvi
Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.
Но поисковые системы не обязаны ориентироваться на данный файл!

Закрывать разрабатываемый сайт надо по паролю или IP адресу
Ответ написан
Комментировать
Комментировать
vik_ewoods
@vik_ewoods
https://yoast.com/articles/robots-meta-tags/

none

This is a shortcut for noindex,nofollow, or basically saying to search engines: don’t do anything with this page at all.
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Веб-разработчик
Искра • Екатеринбург
от 80 000 до 100 000 ₽
Веб-разработчик
Art gorka • Санкт-Петербург
от 60 000 ₽
Fullstack PHP Developer
Smapse Education
от 40 000 до 65 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Необходимо сверстать приложение согласно макету Figma используя React
26 апр. 2024, в 22:22
1500 руб./за проект
Написать модуль подключения матрицы Sony к ПЛИС (Verilog)
26 апр. 2024, в 21:30
15000 руб./за проект
8266 f12 требуется сделать ревью и оптимизировать работу
26 апр. 2024, в 20:42
2000 руб./за проект
Ещё заказы