Задать вопрос
@kolomiec_artiom
python

Как парсить сайт, который загружается по мере необходимости?

Доброй ночи!

Я хочу спарсить с одного сайта новости. Проблема в том, что там не сразу загружается вся лента. Нужно домотать до конца и только тогда она загрузится. Как можно решить эту проблему?

К примеру:
Новость 1
Новость 2
Новость 3
Как только я их посмотрел - загружаются Новость 4 и Новость 5 и т.д

Ссылка на сайт остается неизменной
  • Вопрос задан
  • 287 просмотров
Комментировать
Подписаться 3 Простой Комментировать
Пригласить эксперта
Ответы на вопрос 2
coderisimo
@coderisimo
Нужно открыть dev tools , и посмотреть какой ajax запрос шлется для получения новостей. Вот этот запрос и нужно отправлять.

и не надо спешить использовать тяжеловесов типа selenium ! :)
Ответ написан
Комментировать
Комментировать
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
Находите последний в списке элемент (ноду): element и скролите к нему или чуть ниже (прибавив дополнительно к 'top' константу).
function scrollIt(element) {
  window.scrollTo({
    'behavior': 'smooth',
    'left': 0,
    'top': element.offsetTop
  });
}
(в любом случае - обработка на JS)
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Team Lead (С++, Python)
TopAssistant • Москва
от 400 000 ₽
Python developer
Bell Integrator
До 350 000 ₽
Python developer
Greenway Global • Новосибирск
от 150 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Подключить сервер к сети
27 апр. 2024, в 02:39
1500 руб./за проект
Необходимо сверстать приложение согласно макету Figma используя React
26 апр. 2024, в 22:22
1500 руб./за проект
Написать модуль подключения матрицы Sony к ПЛИС (Verilog)
26 апр. 2024, в 21:30
15000 руб./за проект
Ещё заказы