Добрый день!
Подскажите, пожалуйста, как наиболее правильно настроить файл robots.txt для интернет-магазина на virtuemart 2.5, чтобы избежать попадания в индекс всех лишних страниц?
Пока пришел к такому варианту:
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /webalizer/
Disallow: */dirDesc
Disallow: */by*product_name
Disallow: */by*product_price
Disallow: /*print=1
Disallow: */index.php?
Disallow: */*created_on*
Disallow: */*product_in_stock*
Disallow: */askquestion*
Disallow: */notify*
Disallow: /*error=404
Disallow: */search?
Allow: /
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Просматривая Яндекс Вебмастер заметил, что индексируется еще куча страниц с адресами вида:
https://www.biosalon.ru/shop/search/results,631-630
https://www.biosalon.ru/shop/results,14311-14310
Есть ли какой-то смысл их индексировать или лучше запретить их? Насколько я понимаю они абсолютно не говорящие ни о чем.
Также вопрос что делать с "дублями" такого плана? В вебмастере эти страницы помечаются как дубли, хотя путь к карточкам товара тут разный: в одном случае через каталог и бренд, во втором просто через каталог и категорию аквариумов.
https://www.biosalon.ru/shop/akvariumy-i-tumby/juw...
https://www.biosalon.ru/shop/akvariumy-i-tumby/juw... 
Средний
