sjaserds
@sjaserds
Студент

Парсинг сайта Python + Beautifulsoup. Ждущий паук?

Подскажите студенту какими методами можно заставить ждать парсер? Цель: скрипт должен сидеть на сайте до тех пор пока окончательные данные не будут показаны (примерно 10 мин). Данные добавляются в таблицу с разным промежутком времени.
  • Вопрос задан
  • 273 просмотра
Решения вопроса 2
coderisimo
@coderisimo
Хотите ответ? Формулируйте вопрос КОРРЕКТНО ! :)
Здесь нужен Selenium WebDriver и его "ожидания"
хабр
Ответ написан
А почему бы не взглянуть на их "добавление" изнутри и выполнять эти запросы из скрипта? Вот если там что-то шифруется через JS и параметры "непонятно" закодированные в запросе - тогда да - нужен Selenium.
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
r4khic
@r4khic
Начинающий кодер на python
Можно использовать такую либу.
Пример:
import schedule
import time

def job():
    print("I'm working...")

schedule.every(10).minutes.do(job)
schedule.every().hour.do(job)
schedule.every().day.at("10:30").do(job)
schedule.every().monday.do(job)
schedule.every().wednesday.at("13:15").do(job)
schedule.every().minute.at(":17").do(job)

while True:
    schedule.run_pending()
    time.sleep(1)
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы