На такой объем надо брать несколько тысяч проксей резидентных, капчу пробовать гадать софтом типо ксевил или камонстр если они умеют гадать капчу Яндекс, затраты фиксированные выходят
Так вы во первых можете двигать себя, двигаете себя, к вам тут же их сео приходят клиенты на сео, очень удобно
Ну и есть куча денежных штук в инете где дали деньги, всякие партнёрки цпалки адмитад сиджей и прочие, льёшь сео туда и получаешь деньги
мозгами и опытом ) перестаньте мусолить одни и теже вопросы, все работают +- как я описал, я ж не сам придумал такую методику, а посмотрел как делают другие в статьях )
просто смотрите выдачу для запроса и определяете дело то не хитрое
ну а какой смысл это делать после кластеризации то ?
то есть если вы этот фактор не учитываете и сразу делаете кластеризацию, зачем потом после кластеризации этот фактор узнавать вы уже запросы разбили
Ну начнем с того что тестанул первый запрос и он во первых вероятно не коммерческий, во вторых в вордстате выдает другую цифру, то есть вы уже на входе нас обманываете, о чем тогда с вами говорить то дальше
ну не правильно складываете
например в левой колонке есть
техническое обслуживание средств пожаротушения
и есть
техническое обслуживание средств пожаротушения +в эксплуатации
который входит в запрос выше, надо подзапросы удалять если считаете математику
А смысл левой колонки хватает для 99 процентов задач, остальное либо дорого делать либо очень трудозатратно по времени
Ну и в целом люди крайне редко ищут больше пяти))) то есть если вы захватили рынок 2-3-4 слов то тогда уже стоит идти только дальше
Наверно проще собрать позиции конкурентов в том же семраше за не дорого
А так парсить выдачу никто вроде бесплатно не делает, либо делает в разовых запросах и дешевле купить
Ну а как вы загоняете их в индекс?
Проверили вручную в вебмастере что страницы видит робот и они не закрыты от индексации?
В аналитиксе видите что по этим страница ходят пользователи?
А зачем вы городите в целом такую дичь в роботсе?
В Яндекс вебмастеру есть инструмент для проверки доступности урла с разными роботс, видимо это для вас самое то