Почему google bot заходит на одни и те же страницы?

У Вас крутиться реклама на внешних ресурсах.

Нет конечно. С чего у вас такие выводы? Никто рекламу не заказывал никогда вообще.

Дополнительно можно указать в теле посадочных страниц канонический урл

Я создал более 100 посадочных, из которых около 20 в топ 3 по коммерческому запросу. И никогда не указывал дополнительно canonical, все просто работает и так, учитывая мои весьма скромные познания в SEO.

То есть,проблема не в этом, иначе такие траблы были бы намного раньше.

Ссылка на ваши посадочные страницы содержит get параметр для отслеживания перехода hid

вы точно уверенны, что параметр HID в работе плагина Wordfence - связан именно с рекламой а не параметрами самого плагина?

я точно уверен , что из-за этого бот видит одну и туже страницу как новую.
вам нужны в индексе 100500 копий одно и того же ? бот их все равно отправляет в мусор.
указание игнорировать поисковикам этот параметр ничего не сломает для сайта.

я точно уверен , что из-за этого

Тогда как вы обьясните связь плагина Wordfence и рекламы, которую точно не владелец сайта заказывал?



То есть, допустим вы правы - это реклама. Причем тут начало ЮРЛа c отсылкой к плагину?

еще раз.
Бот парсит какую то страницу.
все найденные урлы собираются в очередь.
Урл включает в себя и часть после знака вопроса.
В вашем случае бот скачивает одну и туже страницу с разными окончания. отличия в hid.
Видит дубль. Выкидывает.
Но он постоянно находит еще варианты . пробует и выкидывает . Как вы пишите в темпе 10 раз в минуту.
Так что игнорируйте эти запросы как всю жизнь до этого.
Или научитесь помогать ботам не делать бесполезную работу.

Олег, Так а вопрос был то - почему URL, который попал в индекс, есть слово Wordfence - название плагина безопасности. Вы сказали, что параметр HID относится к рекламе. Я же спросил, в чем связь между плагином безопасности и не заказанной рекламой? Скорее, это к рекламе отношения не имеет а вот к плагину Wordfence - имеет.

Так что игнорируйте эти запросы как всю жизнь до этого.

таких запросов не было 5дней назад в принципе

Какая разница что конкретно делает этот гет параметр и откуда он взялся. Угадал я его назначение или нет.
Для вашего вопроса почему бот запрашивает одну и туже страницу это не важно.
ответ в том, что бот проверяет разные ссылки, а не одну и туже как вам кажется.

ответ в том, что бот проверяет разные ссылки, а не одну и туже как вам кажется

Тут гадать мне не приходится, я в режиме реального времени вижу все заходы бота и это для меня не было вопросом,что мол бот проверяет только две страницы.

вы сами скормили ему для обхода кучу мусорных урлов, поэтому до нормальных страниц, которые
нужно индексировать, он никак не дойдет.

Для нормальной внутренней сео оптимизации сайта
нужно срезать паразитные урлы в робот (увы только по началу урла)
иметь сайтемап с актуальной датой изменения страниц и указанием ожидаемой частоты переобхода.
управлять ответами сервера
- етаг
- ластмодифи
- правильно обрабатывать запрос If-Modified-Since

Избегать доступности одного и того же контента по разным урлам.
Давить индексацию как в вашем случае размножение урлов не значимые гет параметрами.

Например. Вы сделали форму запроса о товаре
/rerust.php?good=число

задавите /rerust в robots
ссылки на эту форму только с модификатором nofollow
Не знаю на сколько сейчас достаточно только его, раньше еще оборачивали еще все целиком в noindex

вы сами скормили ему для обхода кучу мусорных урлов, поэтому до нормальных страниц, которые
нужно индексировать, он никак не дойдет.

А вот за это спасибо, поржал.

Для нормальной внутренней сео оптимизации сайта
нужно срезать паразитные урлы в робот (увы только по началу урла)

Вам видимо нужна оптимизация ради оптимизации. А мне нужно,чтобы созданные мною посадочные были по ключевым запросам в топ 3, максимум в топ10.
И так и есть для минимум 20 страниц - они в топ 3.
Видимо у вас свои понимания "мусорных юрлов", да только этот "мусор" в топе и приносит трафик и клиентов.

Если вы ВНИМАТЕЛЬНО читали, что уже понятно, что не особо...
Я там выше указывал, что в немало посадочных прекрасно себя чувствуют в топе.

Вы видимо плохо понимаете, что человек, который не понимает что такое параметр HID и прочее - может неплохо вести сайт, который приносит клиентов.

В итоге вы снизошли мне обьяснить "про мусорные юрлы" сами толком не понимая, что мусорных посадочных там нету. Там все по делу. И ничего в роботс не закрыто, представляете какая дикость? Все же учат роботс создавать;)

Но вы же профи ;)
Вообщем спасибо так или иначе.

https://wordpress.org/support/topic/wordfence_lh1hid/
нус , господин СЕО вам предстоит решить правильно эту траблу с индексацией.

Олег, Господин SEO здесь только вы. Я так.. балуюсь.
За ссылку мерси.

Я не сео, просто 20 лет пилю движки для сайтов. Что там для семантики нужно это к сео, а как нравиться краулерам это уже ко мне.