Как должен редактироваться robots.txt при редизайне сайта?
Был сделан редизайн сайта. Какие-то ссылки изменились. А какие-то остались прежними, но на них обновился контент и внешний вид самой страницы.
В админке битрикса эти разделы остались. В смысле старая версия сайта и новая.
Более того, помимо нашего сайта часто делаем другие сайты с доменом третьего уровня, типа test.mainsite.ru.
Для наших тестов.
Как в этом случае должен редактироваться файл robots.txt?
И плохо ли вообще подобная организация сайта? Или надо вообще все сносить к чертям и ничего не размещать помимо главного сайта?
Ну тут есть много моментов. При редизайне осталась прежняя структура или поменялась? Если структура поменялась, то нужно сделать карту соответствия старых линков к новым (тут и excel сгодится), затем настроить редиректы со старых адресов на новые.
Касательно субдоменов а зачем вам вообще индексировать ваши тесты? Закрывайте их в robots и не портите себе выдачу.
Средний
