@elmurzaalchakov

Как парсить компании на сайт wordpress?

Есть сайт с отзывами и рейтингом компаний, как мы знаем компаний много, как сделать парсинг данных на сайт с кмс вордпресс, есть ли плагины и вообще реально ли это?

Или есть CMS которые уже обладают таким функционалом?

Велл, Фламп, и т.д, это самописные сайты, как в них эта функция работает?
Флам принадлежит дубльгис, это понятно в принципе как работает.
  • Вопрос задан
  • 188 просмотров
Пригласить эксперта
Ответы на вопрос 3
  • dimonchik2013
    @dimonchik2013
    сделаю за час в течение недели
    парсером
    Scrapy там или другим пхпшным даже

    сделать просто - прогера нанимаешь, даешь ТЗ ему
    Ответ написан
  • JabbaHotep
    @JabbaHotep
    Пытаюсь минимизировать ручную работу
    Лучше разделить парсинг и импорт данных в вашу CMS. По парсингу: зависит от того, сколько сайтов требуется парсить, что именно забирать. Например, если вы забираете какие то контактные данные с кучи разных сайтов, можно обойтись одним парсером. Если забираются разнородные данные и структура сайтов разная, то на каждый сайт придется писать свой парсер. Если парсеров десятки или сотни, то лучше иметь фреймворк для управления и мониторинга, в противном случае проблему могут начать расти как снежный ком и если вовремя все не фиксить (сайты меняют структуру и ваши парсеры перестают корректно работать), то ваша система очень быстро придет в упадок. Также немаловажным фактором при работе с большим количеством парсеров - постоянный контроль качества данных, иначе вы рискуете залить себе в базу битые данные, для этого большую часть процесса проверки нужно автоматизировать. Этим также должен заниматься ваш фреймворк.

    В общем это достаточно сложный процесс, который, при количестве парсеров больше 50, потребует постоянного штата сотрудников в количестве прямо зависящем от сложности парсеров. Почему в штат, потому что в бизнесе лучше обходится без лишних рисков.

    Другой вариант, воспользоваться парсинг сервисами, в которых по умолчанию есть нужные функции. Например, проверка собранных данных, запуск по расписанию, уведомления в случае сбоев и тд.
    Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через TM ID
Похожие вопросы
ООО Bildy Oy Санкт-Петербург
от 70 000 до 120 000 руб.
2UP Ростов-на-Дону
от 45 000 до 70 000 руб.