@kolomiec_artiom

Как парсить сайт, который загружается по мере необходимости?

Доброй ночи!

Я хочу спарсить с одного сайта новости. Проблема в том, что там не сразу загружается вся лента. Нужно домотать до конца и только тогда она загрузится. Как можно решить эту проблему?

К примеру:
Новость 1
Новость 2
Новость 3
Как только я их посмотрел - загружаются Новость 4 и Новость 5 и т.д

Ссылка на сайт остается неизменной
  • Вопрос задан
  • 197 просмотров
Пригласить эксперта
Ответы на вопрос 2
coderisimo
@coderisimo
Хотите ответ? Формулируйте вопрос КОРРЕКТНО ! :)
Нужно открыть dev tools , и посмотреть какой ajax запрос шлется для получения новостей. Вот этот запрос и нужно отправлять.

и не надо спешить использовать тяжеловесов типа selenium ! :)
Ответ написан
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
Находите последний в списке элемент (ноду): element и скролите к нему или чуть ниже (прибавив дополнительно к 'top' константу).
function scrollIt(element) {
  window.scrollTo({
    'behavior': 'smooth',
    'left': 0,
    'top': element.offsetTop
  });
}
(в любом случае - обработка на JS)
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы