@elmurzaalchakov

Как парсить компании на сайт wordpress?

Есть сайт с отзывами и рейтингом компаний, как мы знаем компаний много, как сделать парсинг данных на сайт с кмс вордпресс, есть ли плагины и вообще реально ли это?

Или есть CMS которые уже обладают таким функционалом?

Велл, Фламп, и т.д, это самописные сайты, как в них эта функция работает?
Флам принадлежит дубльгис, это понятно в принципе как работает.
  • Вопрос задан
  • 71 просмотр
Пригласить эксперта
Ответы на вопрос 3
  • dimonchik2013
    @dimonchik2013
    ...надоели скучные эти windows-овские обои...
    парсером
    Scrapy там или другим пхпшным даже

    сделать просто - прогера нанимаешь, даешь ТЗ ему
    Ответ написан
  • @JabbaHotep
    Лучше разделить парсинг и импорт данных в вашу CMS. По парсингу: зависит от того, сколько сайтов требуется парсить, что именно забирать. Например, если вы забираете какие то контактные данные с кучи разных сайтов, можно обойтись одним парсером. Если забираются разнородные данные и структура сайтов разная, то на каждый сайт придется писать свой парсер. Если парсеров десятки или сотни, то лучше иметь фреймворк для управления и мониторинга, в противном случае проблему могут начать расти как снежный ком и если вовремя все не фиксить (сайты меняют структуру и ваши парсеры перестают корректно работать), то ваша система очень быстро придет в упадок. Также немаловажным фактором при работе с большим количеством парсеров - постоянный контроль качества данных, иначе вы рискуете залить себе в базу битые данные, для этого большую часть процесса проверки нужно автоматизировать. Этим также должен заниматься ваш фреймворк.

    В общем это достаточно сложный процесс, который, при количестве парсеров больше 50, потребует постоянного штата сотрудников в количестве прямо зависящем от сложности парсеров. Почему в штат, потому что в бизнесе лучше обходится без лишних рисков.

    Другой вариант, воспользоваться парсинг сервисами, в которых по умолчанию есть нужные функции. Например, проверка собранных данных, запуск по расписанию, уведомления в случае сбоев и тд.
    Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через TM ID
Похожие вопросы