Как закрыть от роботов директорию, в которой лежат папки с сайтами?
Как закрыть от роботов директорию, в которой лежат папки с сайтами?
Например, через .htaccess это возможно - мне говорят, его читает Apache, но директорию выше чем лежат сайты, Апач не видит.
Какие еще способы есть?
robots.txt положить в корне сайта
Дописать после основных параметров, перед sitemap и host (если они у вас есть)
- если хотите индивидуально какието сайты отключить от индексации
Disallow: /projects/site1/
Disallow: /projects/site2/
- если хотите всю папку запретить индексировать
Disallow: /projects/
Обратите внимание на наличие "/" в конце строки.
Если проекты уже проиндексировались их можно удалить в GSC (Google Search Console)
Google Index -> Remove URLs
если они на одном домене то роботс должен находиться в rootовой директории.
Тоесть если site.com тогда robots.txt должен быть доступен по site.com/robots.txt
Внутри папок robots.txt не работает
