Python aiohttp timeout?

Question

Кирилл Горелов @Kirill-Gorelov

С ума с IT

Python aiohttp timeout?

Парни, как поставить таймоут на текущий url, а не на все.
Два кусочка кода.

async with session.get(url, headers=headers) as response:
            date = response.headers.get("DATE")

async with aiohttp.ClientSession() as session:
        for url in check_site:
            task = asyncio.ensure_future(bound_fetch(sem, url, session))
            tasks.append(task)
        responses = asyncio.gather(*tasks)
        await responses

Вот так, работает очень долго если много url, т.к. все сайты разные и отвечают с разным временем.
Если я ставлю timeout

async with session.get(url, timeout=30, headers=headers) as response:

то скрипт работает всего 30 секунд, а не на каждый адрес ставиться отдельный timeout.

То есть примеру даю на вход 1000 адресов, те что успели открыть за 30 секунд получаю ответ, а остальные, идут в исключение, т.к. не успел их проверить.
Точно такая же ситуация с read_timeout и conn_timeout.

Вопрос задан более трёх лет назад
2631 просмотр

14 комментариев

Подписаться 1 Простой 14 комментариев

Ivan Yakushenko @kshnkvn

session.get(url, timeout=30, headers=headers)
Это и есть правильный вариант. Скиньте полный traceback ошибки, когда вы пытаетесь запустить этот скрипт.
Вероятнее всего дело не в том, что вы timeout неправильно настраиваете, а в том что пытаетесь установить 1000 подключений.

Написано более трёх лет назад
Кирилл Горелов @Kirill-Gorelov Автор вопроса
Ivan Yakushenko, условно говоря вот такая ошибка
http://yandex.ru : exeption / class <class 'concurrent.futures._base.TimeoutError'>

А это успешное выволнение
http://yandex.ru -> Status Code: 302 Wed, 04 Sep 2019 10:23:46 GMT:https://yandex.ru/ with delay
Написано более трёх лет назад
Ivan Yakushenko @kshnkvn
Кирилл Горелов, я так понимаю bound_fetch(sem, url, session) где sem - это Semaphore?
Как вы его используете? Так?
async with sem: async with session.get(): ...
Написано более трёх лет назад

Кирилл Горелов @Kirill-Gorelov Автор вопроса

Ivan Yakushenko, sem - это Semaphore.

sem = asyncio.Semaphore(1000)

    async with aiohttp.ClientSession() as session:
        for url in check_site:
            task = asyncio.ensure_future(bound_fetch(sem, url, session))
            tasks.append(task)

        responses = asyncio.gather(*tasks)
        await responses

loop = asyncio.get_event_loop()
global_start_time = time.time()

future = asyncio.ensure_future(run())
loop.run_until_complete(future)

Написано более трёх лет назад

Ivan Yakushenko @kshnkvn

Кирилл Горелов, да, и передавать его в качестве аргумента не нужно. Он должен быть инициализирован примерно так:

sem = asyncio.Semaphore(100)


async def bound_fetch(url, session):
    async with sem:
        async with session.get():
            ...


async def main():
    async with aiohttp.ClientSession() as session:
        for url in check_site:
            task = asyncio.ensure_future(bound_fetch(sem, url, session))
            tasks.append(task)
        responses = asyncio.gather(*tasks)
        await responses

И убедитесь что у вас bound_fetch возвращает date.

Написано более трёх лет назад

Кирилл Горелов @Kirill-Gorelov Автор вопроса

Ivan Yakushenko, эээээм

Вот мой полный код

from  domainlist import site_pages, real_site,site_pages_mini, site_pages_react, site_pages_all,site_pages_random_3000,site_pages_random_1000, site_pages_random_2000, list_5000
from memory_profiler import memory_usage
import random
import aiohttp
import asyncio
import time

async def fetch(url, session):
    headers = {
        "Accept":"application/json, text/plain, */*",
        "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36",
        "Accept-Language":"zh-CN,zh;q=0.9",
        "accept-encoding":"gzip, deflate"}

    try:
        async with session.get(url, timeout=0.1, headers=headers) as response:
            date = response.headers.get("DATE")
            code_status = response.history[0].status if response.history else response.status
            print('%s -> Status Code: %s' % (url, code_status))
            return await response.read()
    except Exception as e:
        print("{} : exeption {}/ class {}".format(url, e, e.__class__))
        pass
        
    


async def bound_fetch(sem, url, session):
    async with sem:
        await fetch(url, session)


async def run():
    tasks = []
    check_site = real_site
    sem = asyncio.Semaphore(1000)

    async with aiohttp.ClientSession() as session:
        for url in check_site:
            task = asyncio.ensure_future(bound_fetch(sem, url, session))
            tasks.append(task)

        responses = asyncio.gather(*tasks)
        await responses

loop = asyncio.get_event_loop()
global_start_time = time.time()

future = asyncio.ensure_future(run())
loop.run_until_complete(future)

print("--- %s seconds ---" % (time.time() - global_start_time))

Написано более трёх лет назад

Ivan Yakushenko @kshnkvn

Кирилл Горелов,

from  domainlist import site_pages, real_site,site_pages_mini, site_pages_react, site_pages_all,site_pages_random_3000,site_pages_random_1000, site_pages_random_2000, list_5000
from memory_profiler import memory_usage
import random
import aiohttp
import asyncio
import time

sem = asyncio.Semaphore(100)


async def fetch(url, session):
    headers = {
        "Accept":"application/json, text/plain, */*",
        "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36",
        "Accept-Language":"zh-CN,zh;q=0.9",
        "accept-encoding":"gzip, deflate"}

    try:
        async with session.get(url, timeout=0.1, headers=headers) as response:
            date = response.headers.get("DATE")
            code_status = response.history[0].status if response.history else response.status
            print('%s -> Status Code: %s' % (url, code_status))
            return await response.read()
    except Exception as e:
        print("{} : exeption {}/ class {}".format(url, e, e.__class__))
        pass
        


async def bound_fetch(url, session):
    async with sem:
        await fetch(url, session)


async def run():
    tasks = []
    check_site = real_site

    async with aiohttp.ClientSession() as session:
        for url in check_site:
            task = asyncio.ensure_future(bound_fetch(url, session))
            tasks.append(task)

        responses = asyncio.gather(*tasks)
        await responses

loop = asyncio.get_event_loop()
global_start_time = time.time()

future = asyncio.ensure_future(run())
loop.run_until_complete(future)

print("--- %s seconds ---" % (time.time() - global_start_time))

Написано более трёх лет назад

Ivan Yakushenko @kshnkvn

Кирилл Горелов, не запускайте одновременно 1000 тасков. Если работаете под Windows, то он просто не осилит столько.

Написано более трёх лет назад
Кирилл Горелов @Kirill-Gorelov Автор вопроса

Ivan Yakushenko, не у меня linux.
А сколько тогда оптимально?

Написано более трёх лет назад
Ivan Yakushenko @kshnkvn

Кирилл Горелов, пробуйте разные значения. Начинайте со 100.

Написано более трёх лет назад
Ivan Yakushenko @kshnkvn

Кирилл Горелов, и установите ulimit -n 65535 на всякий случай, если планируете таки много тасков запускать.

Написано более трёх лет назад
Кирилл Горелов @Kirill-Gorelov Автор вопроса

Ivan Yakushenko, Спасибо))
Давай плюсану тебе))
Пиши как ответ!

Написано более трёх лет назад
Ivan Yakushenko @kshnkvn

Кирилл Горелов, это вам помогло?

Написано более трёх лет назад
Кирилл Горелов @Kirill-Gorelov Автор вопроса

Ivan Yakushenko, ну вроде как стало лучше)))
То есть проверяет все и не выбрасывает по было раньше.

Написано более трёх лет назад

Решения вопроса 1

3 комментария

Кирилл Горелов @Kirill-Gorelov Автор вопроса

Еще вопрос назрел.
А как получить скорость полной загрузки сайта? И вес страницы сайта?
С помощью aiohttp, что-то ищу по документации да и в интернете не нахожу что-то ничего.

Написано более трёх лет назад
Ivan Yakushenko @kshnkvn
Кирилл Горелов,
вес страницы как вариант:
import sys text = await response.text() sys.getsizeof(text) # размер в байтах

Время загрузки - только засекать текущее время непосредственно перед отправкой запроса и вычитать его из текущего времени сразу после. Примерно так:
start_time = time.time() async with session.get(url, headers=headers) as response: response_time = time.time() - start_time date = response.headers.get("DATE")
Написано более трёх лет назад
Кирилл Горелов @Kirill-Gorelov Автор вопроса

Ivan Yakushenko, у меня так же получилось. НО время загрузки показывает нереальное.
По 3-6 секунды, хотя открываю сайт, смотрю "инспектор", там за 1-2 секунды.

Ну ладно, спасибо.
Я просто думал я может в документации что пропустил.

Написано более трёх лет назад

Пригласить эксперта

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Python

+1 ещё

Простой
Как показать зависимость скорости от O(nlogn)?
- 1 подписчик
- 7 часов назад
- 47 просмотров
2

ответа
Python

Средний
Как из проекта на python RenPY сделать установщик?
- 1 подписчик
- 10 часов назад
- 45 просмотров
0

ответов
Python

+3 ещё

Простой
С чем и как есть gRPC?
- 1 подписчик
- 12 часов назад
- 56 просмотров
1

ответ
Python

+1 ещё

Простой
Как увеличить паузу между отправкой запроса и получением результата?
- 1 подписчик
- 16 часов назад
- 87 просмотров
2

ответа
Python

Простой
Как исправить проблему с установкой torch?
- 1 подписчик
- 19 часов назад
- 59 просмотров
0

ответов
Python

+1 ещё

Средний
Как навести мышь внутри приложения?
- 1 подписчик
- 22 часа назад
- 46 просмотров
0

ответов
Python

+1 ещё

Простой
Как пройти авторизацию на youtube с помощью selenium?
- 1 подписчик
- вчера
- 67 просмотров
2

ответа
Python

+2 ещё

Простой
Как установить 2 версии libssl в kubuntu 22.04?
- 2 подписчика
- вчера
- 167 просмотров
0

ответов
Python

Простой
Как в библиотеке Flet при нажатии на кнопку сделать, чтобы появилось всплывающее окно?
- 1 подписчик
- вчера
- 30 просмотров
0

ответов
Python

+1 ещё

Сложный
Интерпретация результатов модели lambdamart?
- 1 подписчик
- вчера
- 39 просмотров
0

ответов
Показать ещё Загружается…

Python developer

Bell Integrator

До 350 000 ₽

Team Lead (С++, Python)

TopAssistant • Москва

от 400 000 ₽

TeamLead Python

AGIMA • Москва

До 350 000 ₽

Найти ошибку flutter_map

26 апр. 2024, в 05:31

1000 руб./за проект

Разработать электронику для весов с Wi-Fi

26 апр. 2024, в 01:22

1000 руб./в час

Очень срочно нужно помочь запустить программу с UI

26 апр. 2024, в 00:13

1000 руб./за проект

session.get(url, timeout=30, headers=headers)
Это и есть правильный вариант. Скиньте полный traceback ошибки, когда вы пытаетесь запустить этот скрипт.
Вероятнее всего дело не в том, что вы timeout неправильно настраиваете, а в том что пытаетесь установить 1000 подключений.
Ivan Yakushenko, условно говоря вот такая ошибка
http://yandex.ru : exeption / class <class 'concurrent.futures._base.TimeoutError'>

А это успешное выволнение
http://yandex.ru -> Status Code: 302 Wed, 04 Sep 2019 10:23:46 GMT:https://yandex.ru/ with delay
Кирилл Горелов, я так понимаю bound_fetch(sem, url, session) где sem - это Semaphore?
Как вы его используете? Так?
async with sem: async with session.get(): ...
Ivan Yakushenko, sem - это Semaphore.

sem = asyncio.Semaphore(1000) async with aiohttp.ClientSession() as session: for url in check_site: task = asyncio.ensure_future(bound_fetch(sem, url, session)) tasks.append(task) responses = asyncio.gather(*tasks) await responses loop = asyncio.get_event_loop() global_start_time = time.time() future = asyncio.ensure_future(run()) loop.run_until_complete(future)
Кирилл Горелов, да, и передавать его в качестве аргумента не нужно. Он должен быть инициализирован примерно так:
sem = asyncio.Semaphore(100) async def bound_fetch(url, session): async with sem: async with session.get(): ... async def main(): async with aiohttp.ClientSession() as session: for url in check_site: task = asyncio.ensure_future(bound_fetch(sem, url, session)) tasks.append(task) responses = asyncio.gather(*tasks) await responses

И убедитесь что у вас bound_fetch возвращает date.
Ivan Yakushenko, эээээм

Вот мой полный код
from domainlist import site_pages, real_site,site_pages_mini, site_pages_react, site_pages_all,site_pages_random_3000,site_pages_random_1000, site_pages_random_2000, list_5000 from memory_profiler import memory_usage import random import aiohttp import asyncio import time async def fetch(url, session): headers = { "Accept":"application/json, text/plain, */*", "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36", "Accept-Language":"zh-CN,zh;q=0.9", "accept-encoding":"gzip, deflate"} try: async with session.get(url, timeout=0.1, headers=headers) as response: date = response.headers.get("DATE") code_status = response.history[0].status if response.history else response.status print('%s -> Status Code: %s' % (url, code_status)) return await response.read() except Exception as e: print("{} : exeption {}/ class {}".format(url, e, e.__class__)) pass async def bound_fetch(sem, url, session): async with sem: await fetch(url, session) async def run(): tasks = [] check_site = real_site sem = asyncio.Semaphore(1000) async with aiohttp.ClientSession() as session: for url in check_site: task = asyncio.ensure_future(bound_fetch(sem, url, session)) tasks.append(task) responses = asyncio.gather(*tasks) await responses loop = asyncio.get_event_loop() global_start_time = time.time() future = asyncio.ensure_future(run()) loop.run_until_complete(future) print("--- %s seconds ---" % (time.time() - global_start_time))
Кирилл Горелов,
from domainlist import site_pages, real_site,site_pages_mini, site_pages_react, site_pages_all,site_pages_random_3000,site_pages_random_1000, site_pages_random_2000, list_5000 from memory_profiler import memory_usage import random import aiohttp import asyncio import time sem = asyncio.Semaphore(100) async def fetch(url, session): headers = { "Accept":"application/json, text/plain, */*", "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36", "Accept-Language":"zh-CN,zh;q=0.9", "accept-encoding":"gzip, deflate"} try: async with session.get(url, timeout=0.1, headers=headers) as response: date = response.headers.get("DATE") code_status = response.history[0].status if response.history else response.status print('%s -> Status Code: %s' % (url, code_status)) return await response.read() except Exception as e: print("{} : exeption {}/ class {}".format(url, e, e.__class__)) pass async def bound_fetch(url, session): async with sem: await fetch(url, session) async def run(): tasks = [] check_site = real_site async with aiohttp.ClientSession() as session: for url in check_site: task = asyncio.ensure_future(bound_fetch(url, session)) tasks.append(task) responses = asyncio.gather(*tasks) await responses loop = asyncio.get_event_loop() global_start_time = time.time() future = asyncio.ensure_future(run()) loop.run_until_complete(future) print("--- %s seconds ---" % (time.time() - global_start_time))
Кирилл Горелов, не запускайте одновременно 1000 тасков. Если работаете под Windows, то он просто не осилит столько.
Ivan Yakushenko, не у меня linux.
А сколько тогда оптимально?
Кирилл Горелов, пробуйте разные значения. Начинайте со 100.
Кирилл Горелов, и установите ulimit -n 65535 на всякий случай, если планируете таки много тасков запускать.
Ivan Yakushenko, Спасибо))
Давай плюсану тебе))
Пиши как ответ!
Ivan Yakushenko, ну вроде как стало лучше)))
То есть проверяет все и не выбрасывает по было раньше.

Answer 1 · 2019-09-04 14:38:17

sem = asyncio.Semaphore(100)
Объявите в корне файла, а не в функции и передавать его в качестве аргумента не нужно.
Не используйте большое кол-во тасков, ошибки могут быть из-за этого. И если все-же хотите попробовать, то установите ulimit -n 65535

Python aiohttp timeout?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт