@sheeel

Как спарсить сайт node js?

Собственно захотелось мне научиться сайты парсить и попробовал простые сайты с ними никаких проблем не возникло.
Как я понял понял данные туда загружаются динамически через websocket
Как спарсить?)
  • Вопрос задан
  • 1148 просмотров
Пригласить эксперта
Ответы на вопрос 3
Sanasol
@Sanasol Куратор тега JavaScript
нельзя просто так взять и загуглить ошибку
Подключиться к вебсокету и собирать данные, для этого нужен любой websocket клиент и немного поковырять сайт чтобы понять какие запросы отправлять.

Никакие браузеры не нужны для этого как пишут.
Ответ написан
@grinat
Для сложного есть спец сервис apify.com, тут можно найти миллион примеров https://apify.com/store?type=acts если вкратце, то можно ли использовать встроенный в сервис pupetter либо закинуть свой dockerfile и в несколько потоков собирать данные с сайтов.
В твоем случае скорее всего достаточно просто открыть с браузере dev tools, оттуда выдрать url и данные для подключения к сокеты, пооиграться с отправляемыми данными и можно и без браузера дергать то что требуется.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы