@larrabee

Чем обрабатывать и хранить бинарные данные?

Собственно, требуется прочитать бинарный файл с заданным размером блока и сохранить примерно в таком формате:
1={binary block 1}
2={binary block 2}
....
n={binary block n}
Потом нужно будет работать с этим файлом. Обьем открываемого файла до нескольких терабайт, так что работать должно быстро (ограничиваться только скоростью работы диска). ОС Linux.

Только вот не знаю, в какую сторону копать. Если кто-то поделится парой ссылок, буду очень признателен. Желательно на питоне, но можно и на любом другом.
Спасибо.
  • Вопрос задан
  • 3393 просмотра
Решения вопроса 1
Fesor
@Fesor
Full-stack developer (Symfony, Angular)
Хоть петабайты читайте, у вас все будет ограничиваться скорость доступа к жесткому диску, задержки которых больше, чем время вычислений в десятки раз. Вам же нужно просто считать кусок данных и записать их, что будет работать одинаково медленно что на c++ что на python. В любом случае, это не займет больше пары минут времени работы.

Собственно... считываете по кускам (если размер блока относительно невелик, то можно его брать за размер куска, если он большой, то стоит читать по кусочкам меньше размера блока) в память, и записываете в другом формате.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы