Доброго времени суток, форумчане.
Сегодня, на одном сайте, увидел такие строчки в robots.txt: User-agent: *
Disallow: /
Allow: /$
Allow: /ua/$
Allow: /en/$
На сколько я понимаю "User-agent: * | Disallow: /" запрещает сайт для индексации как Гуглу так и Яндексу, но строчки "Allow: /$ | Allow: /ua/$ | Allow: /en/$" разрешают индексировать главную страницу на 3 языках. На сколько это профессиональное решение или это больше на чушь похоже?
Просто для меня такие строки являются непонятными, если кто-то может помочь и объяснить, буду благодарен.
Если все полезные страницы доступны для поисковиков, а все бесполезные нет, то это правильный robots.txt. Проверить доступны ли страницы можно через инструменты проверки в вебмастерах Google и Яндекс.
Средний
