@kirill-93

Как парсить данные?

Появилась задача скачивать с фейсбука и твиттера посты пользователей. Пользователей много, постов тоже. У обоих сервисов есть удобный API для этого. Сделал на php + multicurl, но при первом же "боевом" запуске уперся в лимит запросов от фейсбука. Что можете посоветовать?
  • Вопрос задан
  • 1094 просмотра
Решения вопроса 1
Sanasol
@Sanasol Куратор тега PHP
нельзя просто так взять и загуглить ошибку
Пригласить эксперта
Ответы на вопрос 2
Jump
@Jump
Системный администратор со стажем.
Что можете посоветовать?
Могу посоветовать забыть про API и начать парсить.

Поясню-
Можно получать некую информацию с ресурса, по специально созданному для этого интерфейсу (API).
Это именно получение информации, но никак не парсинг.
Парсинг, это разбор и анализ.

Поэтому логика парсинга следующая - заходим на ресурс как обычнй пользователь, т.е имитируем действия пользователя, получаем страницу (код страницы), парсим ее(т.е анализируем и вытаскиваем нужные данные).
Это разумеется не так удобно, зато никаких ограничений.
Забанили по IP - подключили новый из прокси листа.
Подсунули капчу - есть ресурсы и для этого.
Ответ написан
Комментировать
@OlegBel
Программист, держу Интернет-магазин одежды
Обратись к этим ребятам parsing.by, я свой ИМ парсил с их помощью. Оперативно и недорого. Советую, если интересует ;)
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы