Задать вопрос
@sheeel
javascript

Как спарсить сайт node js?

Собственно захотелось мне научиться сайты парсить и попробовал простые сайты с ними никаких проблем не возникло.
Как я понял понял данные туда загружаются динамически через websocket
Как спарсить?)
  • Вопрос задан
  • 1242 просмотра
1 комментарий
Подписаться 1 Средний 1 комментарий
Пригласить эксперта
Ответы на вопрос 3
Sanasol
@Sanasol Куратор тега JavaScript
нельзя просто так взять и загуглить ошибку
Подключиться к вебсокету и собирать данные, для этого нужен любой websocket клиент и немного поковырять сайт чтобы понять какие запросы отправлять.

Никакие браузеры не нужны для этого как пишут.
Ответ написан
1 комментарий
1 комментарий
@dimuska139
Backend developer
Думаю, тебе поможет Selenium
Ответ написан
Комментировать
Комментировать
@grinat
Для сложного есть спец сервис apify.com, тут можно найти миллион примеров https://apify.com/store?type=acts если вкратце, то можно ли использовать встроенный в сервис pupetter либо закинуть свой dockerfile и в несколько потоков собирать данные с сайтов.
В твоем случае скорее всего достаточно просто открыть с браузере dev tools, оттуда выдрать url и данные для подключения к сокеты, пооиграться с отправляемыми данными и можно и без браузера дергать то что требуется.
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
JavaScript разработчик
summer • Ярославль
от 100 000 до 140 000 ₽
Junior JavaScript Developer
КРАФТТЕК • Санкт-Петербург
от 60 000 до 80 000 ₽
JavaScript разработчик
вАйТи
от 5 000 до 25 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Настройка сервера
18 апр. 2024, в 21:56
2000 руб./за проект
Помощь с водпресс
18 апр. 2024, в 21:00
150 руб./за проект
Спарсить ссылки на все товары конкретного продавца в озон
18 апр. 2024, в 20:13
2000 руб./за проект
Ещё заказы