Как сделать один robots.txt для всех поддоменов?

Ситуация такая, на сайте есть большое количество динамических поддоменов, типа username.site.com, их все обрабатывает скрипт основного домена, правила в .htaccess
RewriteCond %{HTTP_HOST} ^(www\.)?([^\.]+)\.site\.com$ [NC]
RewriteRule (.*) index.php?cn=%2 [NC,QSA]


Соответственно, при проходе краулера, он идет на username.site.com/robots.txt которого там нет и быть не может, потому что он находится в корне сайта и доступен по site.com/robots.txt. Как перенаправить робота на основной robots.txt?
Что-то читал про symlinks но так и не разобрался как правильно настроить, а может опять выручит mod_rewrite?)
  • Вопрос задан
  • 4930 просмотров
Пригласить эксперта
Ответы на вопрос 3
victorvsk
@victorvsk
у вас же username.site.com структура файлов динамическая и задается один раз на всех ? Не на каждого пользователя ведь своя директория?
Тогда нужно просто в эту динамическую директорию добавить симлинк. Сложного ничего. Симлинк - это как в виндовсе ярлык.
Если графического интерыейса нет, то всего то
user@computer~$ cd /path/to/usersite/folder
user@computer~$ ln -s /path/to/site.com/robots.txt robots.txt

Программировать на вебсервере все-таки не лучшая идея
Ответ написан
svd71
@svd71
почему бы вам не делать реврайт на определенный скрипт, который будет определять обращение к robots.txt и выдавать нужный контент, иначе загружать запрошенный скрипт?
Ответ написан
@inkvizitor68sl
Linux-сисадмин с 8 летним стажем.
В конфиге апача это делается так:
Alias /robots.txt /path/to/robots.txt

В конфиге nginx:
location =/robots.txt { root /dir/where/robots_is_laying; }


В htaccess тоже должно работать, но синтаксис мб другой.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
AwardWallet Пермь
от 40 000 до 100 000 руб.
Salesbeat Москва
от 100 000 до 150 000 руб.
IMAGINWEB Москва
от 55 000 до 85 000 руб.
27 июн. 2019, в 01:26
50000 руб./за проект
27 июн. 2019, в 00:27
250000 руб./за проект
27 июн. 2019, в 00:24
20000 руб./за проект