@delkov

Как сделать параллельное чтение из файла, Python+Linux(GNU_parallel)?

Доброго времени суток, уважаемые!
Есть примитивный bash-скрипт, читающий файл:
cat -v /dev/pts/2 | python3 'process.py'
Где python3 скрипт:
import sys
	for string in sys.stdin:
		some_calculation(string)

Мой вопрос: как я могу распараллелить чтение и обработку? Чтобы одновременно работало два скрипта process.py
Я нашел GNU-parallel, но что-то не завелось:

cat -v /dev/pts/2 | parallel  --pipe --recstart '>' python3 process.py

Как починить, или есть другие варианты как это сделать?
Заранее благодарен!

решение найдено, просто поиграйтесь с параметром --block:

cat -v /dev/pts/2 | parallel --j 3 --pipe --block 12M python3 process.py
  • Вопрос задан
  • 746 просмотров
Решения вопроса 1
@delkov Автор вопроса
решение найдено, просто поиграйтесь с параметром --block:

cat -v /dev/pts/2 | parallel --j 3 --pipe --block 12M python3 process.py
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
проблема в постановке задачи. неизвестно что за текстовый файл мы имеем и почему его надо читать в несколько ручьев.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы