@GordonWolowitz

Как парсить сайт на котором есть элементы js?

Всем добрый день.

Задача такая: получить информацию с сайта скриптом на pythone.

Выяснилось, что информация в некотором блоке на сайте обновляется путем скрипта на javascript. Есть ли какие то библиотеки на python, позволяющие спрасить эту информацию? т.к. когда я парсю инфо через beautifulsoup данные мне выдаются неактуальные, хотя на сайте давным давно все обновилось.

Надеюсь вопрос задан понятно.
  • Вопрос задан
  • 2800 просмотров
Пригласить эксперта
Ответы на вопрос 1
Vlad_IT
@Vlad_IT
Front-end разработчик
JS тоже берет информацию от куда-то, ajax, описание объекта внутри script, ну или сокеты. Эти данные вы тоже можете получить. Научитесь работать с вкладкой Network в инструментах разработчика хрома, там легко выяснить, какие данные приходят (и уходят) на клиент, также можно подсмотреть передаваемые данные по сокетам.
Также, для анализа HTTP есть специальные удобные программы, например Fiddler и http analyzer.
Парсить сайты, которые генерируют страницу через JS гораздо проще, обычно сайт использует какое то удобное API, с которым приятнее работать, чем с HTML страницей.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы