Существует ли асинхронный файловый IO?

Question

beduin01 @beduin01

Существует ли асинхронный файловый IO?

Собственно услышал тезис, что "асинхронного файлового IO не существует". Разве это так? Если я правильно понимаю, то вся асинхронность что в сетевом IO, что в файловом строится на опросе буферов\сокетов о наличии данных.

Поправьте если не ошибаюсь.

Вопрос задан более трёх лет назад
215 просмотров

1 комментарий

Подписаться 1 Простой 1 комментарий

AlexHell @AlexHell
может я сам что не понимаю, но асинхронность это про "не блокирует" (в противовес синхронности - вызывали функцию и ждем), так что реализация не принципиальна: если у вас появляется IoTask в менеджере очереди AsyncManager то это тоже асинхронность когда вы вызываете AsyncManager.AddTask() и передается Action который вызывается когда выполнится действие (и также об ошибке)
AsyncManager { Queue<IoTaskWithCallback<IoTas>> tasks; void AddTask(IoTask task, Action onComplete, Action onError) } IoTaskWithCallback { IoTask Task; Action OnComplete; Action OnError; }

Что до нижней реализации - ну допустим оно будет на потоках. Но API то универсальный, разьве нет? Можно подставить другую реализацию если эффективная будет для другой ОС / языка / среды.
Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 3

11 комментариев

beduin01 @beduin01 Автор вопроса

" код в Python и Java использует executor'ы для файловых операций"
А можно поподробнее как это работает?

Написано более трёх лет назад
Сергей Горностаев @sergey-gornostaev Куратор тега Асинхронное программирование
beduin01, задача просто передаётся на выполнение в пул потоков, а назад возвращается awaitable объект, который можно асинхронно ждать
import asyncio import concurrent.futures def blocking_io(): # File operations (such as logging) can block the # event loop: run them in a thread pool. with open('/dev/urandom', 'rb') as f: return f.read(100) async def main(): loop = asyncio.get_running_loop() result = await loop.run_in_executor(None, blocking_io) print(result) asyncio.run(main())
Написано более трёх лет назад
beduin01 @beduin01 Автор вопроса

Сергей Горностаев, А это только в Питоне есть пул потоков? Я слышал, что в том же C# никакого пула потоков для async операций нет

Написано более трёх лет назад
Сергей Горностаев @sergey-gornostaev Куратор тега Асинхронное программирование

beduin01, не могу ничего сказать про C#, писал на нём давно и мало. Возможно, в нём тоже спрятали использование пула потока, как в Node.js. А может C# использует IOCP для асинхронных файловых операций, но тогда они работают только в Windows.

Написано более трёх лет назад
beduin01 @beduin01 Автор вопроса

Сергей Горностаев, А в Linux асинхронных файловых операций нет?

Написано более трёх лет назад
Сергей Горностаев @sergey-gornostaev Куратор тега Асинхронное программирование

beduin01, есть, но IOCP и например epoll отличаются настолько сильно, что их почти невозможно объединить общей высокоуровневой абстракцией.

Написано более трёх лет назад
res2001 @res2001

Сергей Горностаев,
но IOCP и например epoll отличаются настолько сильно, что их почти невозможно объединить общей высокоуровневой абстракцией

Тот же libuv их объединяет.
Правда IOCP в libuv только для сокетов. Файловые операции там реализованы на пуле потоков.

Написано более трёх лет назад
Сергей Горностаев @sergey-gornostaev Куратор тега Асинхронное программирование

res2001, вот и я о том же. Я асинхронностью уже много лет обмазываюсь и не могу припомнить ни одной библиотеки, которая реализовывала бы асинхронный файловый ввод/вывод не с помощью потоков. Не особо углублялся в причины, но читал где-то (кажись в python dev-листах), что это обусловлено именно разительными отличиями в реализации файловой асинхронности в разных операционных системах.

Написано более трёх лет назад
res2001 @res2001

Сергей Горностаев, По моему, принципиальных причин для отказа в реализации файлового i/o на iocp или epoll нет (хотя я то же не сильно углублялся).
На мой взгляд, файловые операции реализуют на потоках из-за того, что количество файловых операций в том же libuv гораздо больше, чем открытие/чтение/запись/закрытие.
Получается что либо мы ограничиваем файловый i/o стандартным набором операций (чего явно не достаточно), либо натягиваем весь расширенный интерфейс файловых операций на остальной i/o, который там нафиг не нужен.

Написано более трёх лет назад
beduin01 @beduin01 Автор вопроса

Под потоками имеются ввиду системные потоки? Каково их количество и я не совсем понимаю какая альтернатива системным потокам? epoll и тд они же где-то выполняются? Разве не в тех же потоках?

Написано более трёх лет назад
Сергей Горностаев @sergey-gornostaev Куратор тега Асинхронное программирование

beduin01, асинхронные механизмы, такие как epoll, выполняются в единственном потоке, не блокируя его. Грубо говоря, крутится бесконечный цикл и на каждой итерации проверяется, какой из дескрипторов сменил состояние. Если какой-то дескриптор готов к чтению, вызываешь неблокируемую операцию чтения и продолжает итерацию. Подробное описание механизмов select, poll и epoll можно почитать например здесь, а про IOCP здесь. На Хабре вообще много статей на эту тему.

Написано более трёх лет назад

2 комментария

Комментировать

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

JavaScript

+4 ещё

Простой
Что делать, если после залива приложения на VPS страница остается недоступной?
- 1 подписчик
- 15 апр.
- 84 просмотра
2

ответа
Android

+3 ещё

Простой
Нужно опенсорс приложение для Андройд для ESP32 painless mash?
- 1 подписчик
- 10 апр.
- 83 просмотра
0

ответов
Python

+1 ещё

Простой
Системы для анализа эмоций в видео и автоматической генерации текстовых реакций. Существует ли такое?
- 1 подписчик
- 10 апр.
- 90 просмотров
2

ответа
Python

+1 ещё

Простой
Как правильно обработать exception PasswordHashInvalidError?
- 1 подписчик
- 02 апр.
- 69 просмотров
1

ответ
Программирование

+2 ещё

Простой
Альтернативы SourceTrail?
- 3 подписчика
- 28 мар.
- 226 просмотров
1

ответ
Windows

+3 ещё

Простой
Есть в Windows API для задания тега Write Combining для моей области памяти?
- нет подписчиков
- 25 мар.
- 79 просмотров
2

ответа
Программирование

Простой
Как сделать на сайте автоматическое открытие другого сайта?
- 1 подписчик
- 24 мар.
- 153 просмотра
1

ответ
Python

+1 ещё

Простой
Как запусить две функции асинхронно?
- 1 подписчик
- 16 мар.
- 128 просмотров
2

ответа
Программирование

Простой
Hc-05 подключение питания?
- 1 подписчик
- 13 мар.
- 57 просмотров
0

ответов
Python

+1 ещё

Средний
Почему не работает асинхронный код python под прокси?
- 2 подписчика
- 13 мар.
- 271 просмотр
1

ответ
Показать ещё Загружается…

Python developer

Bell Integrator

До 350 000 ₽

Разработчик программного обеспечения авионики

Котлин-Новатор • Санкт-Петербург

от 50 000 до 150 000 ₽

Ведущий разработчик программного обеспечения авионики

Котлин-Новатор

от 150 000 до 250 000 ₽

Настройка сервера

18 апр. 2024, в 21:56

2000 руб./за проект

Помощь с водпресс

18 апр. 2024, в 21:00

150 руб./за проект

Спарсить ссылки на все товары конкретного продавца в озон

18 апр. 2024, в 20:13

2000 руб./за проект

может я сам что не понимаю, но асинхронность это про "не блокирует" (в противовес синхронности - вызывали функцию и ждем), так что реализация не принципиальна: если у вас появляется IoTask в менеджере очереди AsyncManager то это тоже асинхронность когда вы вызываете AsyncManager.AddTask() и передается Action который вызывается когда выполнится действие (и также об ошибке)
AsyncManager { Queue<IoTaskWithCallback<IoTas>> tasks; void AddTask(IoTask task, Action onComplete, Action onError) } IoTaskWithCallback { IoTask Task; Action OnComplete; Action OnError; }

Что до нижней реализации - ну допустим оно будет на потоках. Но API то универсальный, разьве нет? Можно подставить другую реализацию если эффективная будет для другой ОС / языка / среды.

Answer 1 · 2018-12-22 19:19:21

Кроссплатформенного не существует. Поэтому асинхронный код в Python и Java использует executor'ы для файловых операций, а в Node.js такое же решение скрыто на уровне абстракций libuv.

Разве что zero-copy через уже упомянутый DMA. Но этот метод не всегда применим.

Answer 2 · 2018-12-22 19:09:35

Армянское Радио @gbg Куратор тега Программирование

Любые ответы на любые вопросы

Да, существует. DMA, вот это вот все.

Ответ написан более трёх лет назад

2 комментария

Answer 3 · 2018-12-22 19:53:12

На уровне программы безусловно существует. На физическом уровне зависит от системы, обычно да.
Если вы про параллельный io, то, обычно, низший уровень работает последовательно.

Существует ли асинхронный файловый IO?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт