@elmurzaalchakov

Как парсить компании на сайт wordpress?

Есть сайт с отзывами и рейтингом компаний, как мы знаем компаний много, как сделать парсинг данных на сайт с кмс вордпресс, есть ли плагины и вообще реально ли это?

Или есть CMS которые уже обладают таким функционалом?

Велл, Фламп, и т.д, это самописные сайты, как в них эта функция работает?
Флам принадлежит дубльгис, это понятно в принципе как работает.
  • Вопрос задан
  • 740 просмотров
Пригласить эксперта
Ответы на вопрос 3
dimonchik2013
@dimonchik2013
non progredi est regredi
парсером
Scrapy там или другим пхпшным даже

сделать просто - прогера нанимаешь, даешь ТЗ ему
Ответ написан
Комментировать
azerphoenix
@azerphoenix
Java Software Engineer
Лучше парсить рнр скриптом.
Вряд ли плагин WPGrabber будет полезным для вас в данному случае.
Ответ написан
Комментировать
JabbaHotep
@JabbaHotep
Пытаюсь минимизировать ручную работу
Лучше разделить парсинг и импорт данных в вашу CMS. По парсингу: зависит от того, сколько сайтов требуется парсить, что именно забирать. Например, если вы забираете какие то контактные данные с кучи разных сайтов, можно обойтись одним парсером. Если забираются разнородные данные и структура сайтов разная, то на каждый сайт придется писать свой парсер. Если парсеров десятки или сотни, то лучше иметь фреймворк для управления и мониторинга, в противном случае проблему могут начать расти как снежный ком и если вовремя все не фиксить (сайты меняют структуру и ваши парсеры перестают корректно работать), то ваша система очень быстро придет в упадок. Также немаловажным фактором при работе с большим количеством парсеров - постоянный контроль качества данных, иначе вы рискуете залить себе в базу битые данные, для этого большую часть процесса проверки нужно автоматизировать. Этим также должен заниматься ваш фреймворк.

В общем это достаточно сложный процесс, который, при количестве парсеров больше 50, потребует постоянного штата сотрудников в количестве прямо зависящем от сложности парсеров. Почему в штат, потому что в бизнесе лучше обходится без лишних рисков.

Другой вариант, воспользоваться парсинг сервисами, в которых по умолчанию есть нужные функции. Например, проверка собранных данных, запуск по расписанию, уведомления в случае сбоев и тд.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы