librown
@librown
На-все-руки-мастер и немного кодер

Как скрыть ненужные страницы фильтров инет-магазина от индексации ботами?

Приветствую!
Есть интернет-магазин с фильтрацией товаров по 7 характеристикам (производитель, размер, цвет, цена...).
На пересечении каждой характеристики с каждой - генерируется статическая страница с ЧПУ и уникальными title.

Примеры страниц:
site.ru/cat/brand-a/
site.ru/cat/brand-a/color-b/
site.ru/cat/brand-a/color-b/size-c/
site.ru/cat/brand-a/color-b/size-c/price-d/
...
Сделано было из благих целей - собирать НЧ-запросы из поиска. Но по факту получается, что подобных страниц фильтров можно получить несколько миллионов. И с индексацией (и обходом ботами) возникают проблемы - важные страницы даже 2-3го уровней вложенности с трудом попадают в индекс.

Для страниц у которых выбрано более 2х фильтров прописан:
<meta name="robots" content="noindex, nofollow"/>

Но ведь боту все равно приходится загружать эти страницы и только потом видеть "noindex, nofollow" - тратится краулинговый бюджет.

Возникла идея сделать фильтрацию глубоких уровней на AJAX, без статических адресов. Чтобы бот не смог пробраться глубже чем на 2 уровня.

Не очень понимаю как подступиться к реализации. Может кто сталкивался?
Отслеживаем вложенность фильтра, и если он становится > 2, то подгружаем пользователю/боту ссылки на следующие уровни фильтров аяксом?
  • Вопрос задан
  • 236 просмотров
Пригласить эксперта
Ответы на вопрос 2
Я думаю проще запретить в robots.txt любой уровень
Ответ написан
Комментировать
Есть еще понятие канонических урлов https://support.google.com/webmasters/answer/13906...
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы