@sergey1989

Парсер с Яндекса в WordPress?

Доброго времени суток. Хочу попробовать написать парсер новостей с Ya в WordPress. Посоветуйте, пожалуйста, какую библиотеку лучше использовать для таких целей? В настоящее время планирую PHP Simple Dom + Curl. И лучше результат парсинга записывать в таблицу записей WordPress и запускать скрипит через Cron или выводить результаты непосредственно через сам парсер? И какие подводные камни могут быть в такой задачи?
  • Вопрос задан
  • 849 просмотров
Пригласить эксперта
Ответы на вопрос 3
Daemon23RUS
@Daemon23RUS
Копайте в сторону RSS
https://news.yandex.ru/export.html
Ответ написан
Комментировать
@Silm
Если будете разбирать html, то инструменты в принципе правильные, возможно стоит по-сравнивать PHP Simple Dom с другими библиотеками для разбора dom и неплохо чем то обернуть curl, чтобы приятнее было запросы отправлять и принимать ответы.

Если будете работать с фидом, то разбирать dom вам не понадобится.

И лучше результат парсинга записывать в таблицу записей WordPress и запускать скрипит через Cron или выводить результаты непосредственно через сам парсер?

Если из результатов парсинга будет формироваться постоянное содержимое сайта, то в таблицу. Вообще зависит от деталей вашей идеи.

И какие подводные камни могут быть в такой задачи?

Яндекс достаточно ревностно относится к парсингу его контента. Через некоторое количество подозрительных запросов можете начать получать капчу. Придется как-то ее обходить.
Ответ написан
riky
@riky
Laravel
C яндекса список 5 новостей со ссылками спарсить очень легко.
но подводный камень в том что яндекс только дает ссылки на другие сайты, и конетнт придется с них парсить.

а парсить главный контент произвольного сайта это задача over 100 lvl
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы