Я с помощью Selenium пытаюсь прокрутить div блок с подписчиками сообщества в Instagram до самого конца (там более 4 тысяч записей), но на 2432 человеке прокрутка зависает, начинается бесконечная загрузка следующей пачки пользователей. Пробовал через Chrome и Firefox, пробовал устанавливать разные версии webdriver, но не помогло. Пишу на Python.
Прокрутка происходит с помощью двух этих строчек в цикле:
scr1 = browser.find_element_by_xpath('html/body/div/div[@role="dialog"]/div[2]')
browser.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", scr1)
Также я пробовал, чтобы div не засорялся слишком большим объемом пользователей, удалять верхние записи (li теги) и прокручивать дальше, но не помогало. Стоит сказать, что прокрутка иногда зависает и раньше, но обычно именно на 2432 пользователе. Дальше точно не получается прогружать.
Я думаю, дело не в Selenium, поскольку я пробовал прокрутить этот этап, на котором происходит зависание, вручную, но оно так же зависло.
Быть может, это ограничение Instagram?
Простой
Простой
