Есть ли онлайн сервисы с АПИ позволяющие получить полную выдачу гугла по каким либо кейвордам? Нужен сервис который например по запросу "игрушечные машинки", выдал бы все возможные результаты из выдачи гугла.
Мне не нужны ключевые слова по этому запросу, семантическое ядро, и прочая чушь. Мне нужен именно результат выдачи гугла по запросу. Т.е. грубо говоря нужен именно список сайтов которые выдает гугл в результате поиска.
Нужен именно онлайн сервис с которым можно взаимодействовать по JSON/XML API.
Да, можно написать этот парсер самому, и т.д. Но нам нужен сторонний сервис, в котором уже решены проблемы с капчами, ограничениями и так далее. Я вполне отдаю себе отчет о том что такой сервис будет платен, и в общем то не против этого.
Пытался гуглить, но то ли я ищу не там, то ли таких сервисов нет впринципе (что странно), но ничего не нашел.
Есть такой - XMLRiver
Парсинг поисковой выдачи Google (web, картинки, новости, покупки) и Яндекс.
По web можно получить кучу полезной информации (реклама, быстрые ответы, карты, колдунщики и т.д.)
iBird Rose слышал ес-но, но во первых эта утилита под винду, во вторых у ней нет никакого вменяемого АПИ для интеграции с нашим сервисом, в третьих это просто абсолютно не то.
Что то похожее мы можем написать и самостоятельно. Но у нас нет лишнего времени на это, и желания следить за этим и поддерживать в работоспособном состоянии. Проще было бы воспользоваться каким либо готовым сервисом.
Нужен именно онлайн. Подымать всю инфраструктуру с автоматической обработкой капчей, сменой прокси, нет ни сил ни желания. Проще было бы платить какому то готовому сервису, у которого есть для этого АПИ.
>можно чуть ли не у самого Гугла воспользоваться
что вы имеете ввиду?
К сожалению у всех этих трех вариантов есть геморой с обработкой капчей, проксей и прочей ерунды.
Мы готовы платить за то решение, в котором эти проблемы уже решены.
Дмитрий Амиров: геморрой с обработкой капчи, проксей и прочей ерунды - это 2 минуты, чтобы купить пачку проксей и антигейт и еще 1 минута, чтобы сделать копипаст в интерфейс кей коллектора. С такими понятиями о геморрое, вам ни один инструмент не подойдет.
Просто вы сейчас говорите что-то из разряда:
- мне нужен компьютер, чтобы на нем был установлен гугл хром.
- купите виндоус и установите гугл хром.
- нет, мне нужен компьютер, чтобы все из коробки было готово, а то слишком сложно.
Еще одна проблема в том, что все онлайн сервисы рассчитаны как раз на "ключевые слова по этому запросу, семантическое ядро, и прочую чушь". Просто так парсить выдачу особо никто не стремится.
P.S. Если вам нужно именно парсить выдачу гугла, то контент даунлоадер - отличный вариант. Юзал его без проксей и антикапчи - всё ок.
Фёдор проблема в том что вы не понимаете или не хотите понять что именно мне требуется. В наш проект не интегрируешь прикладные утилиты под WIN. Поэтому я не зря упоминал про онлайн сервисы.
Дело не в том что то что вы предлагаете - слишком сложно. Наоборот - это слишком просто, и впринципе как решение не рассматривается. Это очень ненадежно и нестабильно. Для меня написать утилиту для парсинга с поддержкой проксей, капчей и прочей ерунды - дело одного вечера. Но после этого мне будет необходимо поддерживать ее работоспособность, следить за тем чтобы верстка у гугла не поменялась, контролировать новые алгоритмы бана, постоянно добавлять прокси, следить за их валидностью, пополнять счет в антигейте, и куча еще других "И". Тогда как со сторонним сервисом вся ответственность за это переходит на них.
При всем при этом объемы парсинга будут достаточно внушитильными, что
контент даунлоадер без проксей и антикапчи
просто звучит смешно. А в целом вы зря иронизируете, и считаете себя умнее других. Позволю себе аналогию на вашем примере нашего диалога:
- нам нужен такой-то такой-то станок на завод
- возьмите кухонный комбайн, подумаешь, будете менять в нем насадки, загружать продукт руками, и объем продукции будет меньше, да и продукция на выходе совсем не та.
- нет, это не то, нам нужен именно производственный станок
- ну вам не угодишь
Надеюсь, мы поняли друг друга.
Насчет цены за одну страницу в 50 копеек вы загнули. За полную спаршенную выдачу по одному запросу мы готовы предложить сколько-нибудь рублей. Но нужно именно АПИ для интеграции с нашим проектом, дерзайте.
Дмитрий Амиров: простите, а чем это отличается от онлайн-сервисов? Купили прокси, купили/зарегали аккаунты, закинули баланс на рукапчу, и включили парсинг на пару часов / на ночь.
Сервисы с готовой выдачей есть, чуть позже скину список (когда до компа доберусь), но там ценник не маленький будет.
Кстати, из бесплатных, возьмите готовую базу запросов "Букварикс", она ничуть не хуже платной MOAB-базы. Думаю, это самый лучший и простой вариант для вас. Повторюсь, сервисы, которые парсят за вас есть, но они все обойдутся сильно дороже самостоятельно парсинга через кейколлектор или аналоги (тысячи и десятки тысяч рублей за полную выборку).
Мне не нужна база запросов. Ровно как и ключевые слова и прочая ерунда. Мне нужна именно выдача. Т.е. грубо говоря список сайтов который гугл отдаст по запросу "игрушечные машинки".
>Купили прокси, купили/зарегали аккаунты, закинули баланс на рукапчу, и включили парсинг на пару часов / на ночь.
Проблема в том что как раз вот этих ручных действий мы и хотим избежать.
>сервисы, которые парсят за вас есть
вот как раз они и нужны :)
Тогда вам нужен бесплатный парсер выдачи Selka ( ascent.pro/ru/selka.html ) или Яндекс xml (api есть)
И вот вам обещанный мною список сервисов, посмотрите, у каких-то там выдача сайтов по определенным запросам тоже есть (у каких точно -- не подскажу, т.к. мне поисковая выдача нужна редко, и для этого я использую парсер Selka).
zamboga о, вот Яндекс.XML, то что надо. Но нужно что то еще и под гугл.
Да нужно что то типа Selka, но опять же, это утилита под винду, и она нам не совсем подходит, ее с нашим проектом не интегрируешь, плюс проблемы с подключением антикапчи, проксей, и прочей ерунды.
Из всех сервисов что вы привели по ссылке, да выдача есть у некоторых - но как правило первые 50 строк. Что очень-очень мало. Такое мы можем сделать и сами. Нужен какой то сервис который мог бы вернуть минимум 1000 результатов по одному запросу.
Дмитрий Амиров:
>>о, вот Яндекс.XML, то что надо. Но нужно что то еще и под гугл.
+++
поройтесь тут: www.google.com/webmasters
это совсем не мой профиль, так что не в теме, есть ли там API, как у яндекса.
>>Из всех сервисов что вы привели по ссылке, да выдача есть у некоторых - но как правило первые 50 строк. Что очень-очень мало
+++
Регистрируйтесь и оплачивайте доступ. На всех этих сервисах бесплатно 5-10-50 результатов, за деньги -- полностью.
И на каких-то из этих сервисов есть API (например, на самом мощном — spywords — api точно есть)
Дмитрий Амиров: чем вамgoogle custom search не подходит если вы готовы платить?
Сколько американских рублей за одну выдачу в 1000 результатов? Сколько выдач в день?
1 апреля 2017 г. будут прекращены продажи Google Site Search – платной версии Системы пользовательского поиска. Любые операции по покупке или обновлению системы поиска следует выполнить до этого срока. Платный сервис полностью перестанет действовать 1 апреля 2018 г. Система пользовательского поиска будет работать в прежнем режиме.
к сожалению тут я опоздал
Нужна не просто выдача в 1000 результатов. А максимально полная выдача. Т.е. если гугл предлагает к выдаче 50 страниц по 100 результатов, или 1 страницу с 5 результатами, нужны все.
За полную выдачу, хз, вопрос в том сколько за нее просят. В день ориентировочно - 1000-2000 выдач.
Так это не то. Сейчас они продвигают google custom search. Думаю это то что нужно. Учитывая, что сервис платный, они вам все что надо подгонят. Это ж бизнеса)
Использую a-parser для парсинга Яндекса, Google, Bing, DuckDuckGo и других поисковых систем.
Попробуйте настроить на демо аккаунте нужный парсинг и посмотреть, думаю вы сможете решить самые сложные задачи, как для эффективной seo стратегии так и для многих других бизнес целей
Простой
