Задать вопрос
@qbr-code
node.js

Как спарсить динамический контент?

Добрый день!

Пишу на NodeJs веб скраппер для страницы https://zachtronics.bandcamp.com/album/shenzhen-i-...
Из подключенных модулей использую request и cheerio.
Моя задача получить ссылку, которая находится в одном из нескольких тегов скрипт (так выглядит сама ссылка: https://t4.bcbits.com/stream/b60bed46407ad20cf804c...
Проблема:
request вовзращает только html, а мне нужно то, что лежит в теге скрипт, то есть динамический контент. Я так понимаю, что единственным выходом будет использование webdriver, puppeteer, или headless chrome? Но это ресурсоемко, запускать целый браузер, чтобы только добраться до тега скрипт и взять оттуда ссылку. Нет других способов?
  • Вопрос задан
  • 473 просмотра
Комментировать
Подписаться 1 Простой Комментировать
Решения вопроса 1
@DanKud
Ничего там динамически не подключается. Весь контент страницы, в том числе нужные вам скрипты, вы получаете сразу же при загрузке. cheerio вам тут не нужен даже, да и не поможет.

Вот пример как можно получить нужное вам значение:
request('https://zachtronics.bandcamp.com/album/shenzhen-i-o-ost', (error, response, body) => {
	const json = JSON.parse(body.match(/trackinfo:.*(\[.*?\])/)[1]);
	const mp3 = json[0]['file']['mp3-128'];
	console.log(mp3);
});
Ответ написан
4 комментария
4 комментария
Пригласить эксперта
Ответы на вопрос 1
hzzzzl
@hzzzzl
а request точно не вернет весь html файл страницы со скриптами?

если я правильно понимаю, то интересует массив trackinfo: [...] из главной страницы, может выйдет его без cheerio выцепить регулярным выражением из request.get('bandcamp.com/...'), ну и потом просто распарсить как обычную строку через JSON.parse

UPD
ну и кстати получается, ща регулярку доковыряю и тоже напишу свой граббер бандкампа

request('https://zachtronics.bandcamp.com/album/shenzhen-i-o-ost', function (error, response, body) {
  res.send(body.match(/(?<=trackinfo:)(.*)(?=,)/gi))
  // кривая регулярка, выцепляет не всё что надо
});
Ответ написан
2 комментария
2 комментария
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Node.js разработчик
ДАЛЕЕ • Москва
от 200 000 ₽
Senior Backend Developer Node.js
Radium Finance • Москва
от 300 000 до 400 000 ₽
Node.js Developer (middle)
ROBOTMIA • Новосибирск
от 130 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Скрипт по работе с API и записи в MySQL данных (задача на сегодня)
18 апр. 2024, в 12:20
4000 руб./за проект
Настроить корпоративные ящики
18 апр. 2024, в 12:04
2000 руб./за проект
Сверстать сайт на Nextjs или Reactjs
18 апр. 2024, в 12:01
15000 руб./за проект
Ещё заказы