Задать вопрос
Argentum88
@Argentum88
javascript

Как осуществить парсинг ajax web страницы?

Какие есть способы и инструменты, для парсинга страницы, содержимое которого подгружается по ajax при скролле?

Предполагаю некоторые варианты:
1) Проанализировать, какого вида и на какой адрес отправляется ajax запрос, эмулировать эти действия и парсить ответ.
2) Использовать инструменты автоматизации браузера (PhantomJS, selenium).

Предложения, пожелания, идеи?
  • Вопрос задан
  • 9833 просмотра
Комментировать
Подписаться 5 Оценить Комментировать
Решения вопроса 1
maxaon
@maxaon
Если вам надо парсить два-три сайта, тогда конечно первый вариант. Если много или сложная логика - тогда фантом, это не так сложно.
Если парсить не долго и не часто - юзерскрипт/плагин для парсинга. Открыл браузер, нажал кнопочку, подождал, загрузил файл.
Ответ написан
1 комментарий
1 комментарий
Пригласить эксперта
Ответы на вопрос 2
@SashaSkot
Специалист широкого профиля
Единственный правильный вариант вы описали под номеров 1. Если хочется хардора и секса - можете реализовать через браузерный компонент и отслеживать изменения контейнера. Но это Тeрмоpектaльный криптоанализ.
Ответ написан
Комментировать
Комментировать
@portfelio
Если у сайта нет запрета отображения во фрейме, то открыть страницу во фрейме и парсить.
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
JavaScript разработчик
SummerWeb • Ярославль
от 100 000 до 140 000 ₽
JavaScript разработчик
вАйТи
от 5 000 до 25 000 ₽
Senior Fullstack JavaScript Node.js + React
Simplenight inc.
от 4 000 до 6 500 $
Ещё вакансии
Заказы с Хабр Фриланса
Дизайнер в IT компанию
04 мая 2024, в 23:17
1200 руб./в час
Установка OS debian 11, raid 5, raid 0
04 мая 2024, в 22:32
2000 руб./за проект
Создание базовой механики Unreal Engine 5
04 мая 2024, в 22:10
2001 руб./за проект
Ещё заказы