sjaserds
@sjaserds
Студент

Парсинг сайта Python + Beautifulsoup. Ждущий паук?

Подскажите студенту какими методами можно заставить ждать парсер? Цель: скрипт должен сидеть на сайте до тех пор пока окончательные данные не будут показаны (примерно 10 мин). Данные добавляются в таблицу с разным промежутком времени.
  • Вопрос задан
  • 273 просмотра
Решения вопроса 2
coderisimo
@coderisimo
Хотите ответ? Формулируйте вопрос КОРРЕКТНО ! :)
Здесь нужен Selenium WebDriver и его "ожидания"
хабр
Ответ написан
А почему бы не взглянуть на их "добавление" изнутри и выполнять эти запросы из скрипта? Вот если там что-то шифруется через JS и параметры "непонятно" закодированные в запросе - тогда да - нужен Selenium.
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
r4khic
@r4khic
Начинающий кодер на python
Можно использовать такую либу.
Пример:
import schedule
import time

def job():
    print("I'm working...")

schedule.every(10).minutes.do(job)
schedule.every().hour.do(job)
schedule.every().day.at("10:30").do(job)
schedule.every().monday.do(job)
schedule.every().wednesday.at("13:15").do(job)
schedule.every().minute.at(":17").do(job)

while True:
    schedule.run_pending()
    time.sleep(1)
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
от 100 000 до 150 000 руб.
FirstVDS Иркутск
от 50 000 до 80 000 руб.
от 150 000 до 200 000 руб.
13 нояб. 2019, в 17:34
1500 руб./за проект
13 нояб. 2019, в 17:27
200 руб./за проект
13 нояб. 2019, в 17:18
200 руб./в час