@Tarik2203

Как закрыть от индексации любой адрес с определенной страницы?

Ситуация...
Есть страница maxpart.com.ua/product-category/bloki/bloki-dlya-n... Как закрыть от индексации все, что будет после /bloki-sony/ ??? (например: maxpart.com.ua/product-category/bloki/bloki-dlya-n...

Вторая ситуация и вопрос
Для этой же страниц ввожу site:maxpart.com.ua/product-category/bloki/bloki-dlya-noutbukov/bloki-sony/

Получаю в ответ вместо одной страницы еще 2 лишние:
maxpart.com.ua/product-category/bloki/bloki-dlya-n...
maxpart.com.ua/product-category/bloki/bloki-dlya-n...
Получается, что это выбранные фильтры. Вопрос: это дубли основной страницы? Ведь title и description идентичны. Как эти страницы могли попасть в индекс?

Заранее благодарен за помощь!
  • Вопрос задан
  • 692 просмотра
Пригласить эксперта
Ответы на вопрос 4
NeiroNx
@NeiroNx
Программист
в файле robots.txt указывается robotstxt.org.ru/robotsexclusion/spec
файл должен быть http://сайт.рф/robots.txt

Disallow: /product-category/bloki/bloki-dlya-noutbukov/bloki-sony/?filter
Ответ написан
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
robots.txt:
Disallow: /bloki-sony/
Ответ написан
@Tarik2203 Автор вопроса
Вроде как нашел ответ на вопрос. Дописал 2 строки в robots:
Disallow: */page/*
Disallow: *?*

Первый оператор закрывает от индексации все страницы, в которых есть "page". Второй - все страницы с "?". "page" появляется в url только если перейти на вторую страницу товаров в любой категории, а "?" только если выбран какой-то фильтр товара. И то и другое (по идеи) - дубли.

Проверил в Яндекс вебмастере. Вроде все ок.
b28999b56d2a4b39861bc1d4ebfc5e87.png
Ответ написан
Комментировать
sdavlyatov
@sdavlyatov
Альтруист
Все правильно с "?"
А вот с пейджингом придеться потрудиться:
Если закрыть от индекса страницы пагинации, то как робот узнает что у вас на второй странице (также не попадет в индекс товар) и сколько вообще товаров в этой категории, а это ведь является фактором ранжирования - сколько товаров вы предлагаете 10 или 150.
Делать с умом:
1. Для Яндекса - пропишите атрибут rel="canonical" на всех страницах пагинация на первую страницу, кроме первой, а также настройте редирект с первой страницы на саму категорию (во избежания дублей)
2. Для Google атрибут rel="canonical" подходит если у вас есть страница со всем товаром этой категории туда и проставляете, тогда нужно закрыть от индекса через роботс пагинацию. РЕКОМЕНДУЮ - Идеальный вариант для Google (сочетается с Яндексом если выполнить пункт 1). Прописать второстепенные атрибуты (читать тут https://support.google.com/webmasters/answer/16637... - Данный вариант позволит сформировать общую сущность всей цепочки страниц как один массив, что отдаст весь вес на первую страницу, и повысит позиции сайта по категории.
Пару апдейтов и страницы пагинации вылетят из поиска Я и G, а товар нет. Через 1-1,5 месяца Google сформирует сущность и позиция по категории вырастет.
Удачи в SEO
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы