@Lukentui
Vue.JS | Express.JS | Laravel | Python

Какой формат архивов выбрать?

Здравствуйте. Необходимо хранить бэкапы пользователей. Каждый юзер будет хранить примерно 5 архивов, каждый из архивов будет содержать порядка 30мб данных(в среднем) и до 1gb максимум(менее 1% пользователей).
Задача выбрать формат архивов, который позволит максимально сжимать данные. Допускаются особо экзотические - пользователь их в глаза видеть не будет.
Особо важен итоговый размер архива, скорость распаковки должна быть не особо низкая(распаковать 30мб raw данных за 5 секунд - нормально), необходима возможно установить пароль на архив.

P.S изменение данных не нужно, данные - много мелких файлов.

Всем заранее спасибо!
  • Вопрос задан
  • 124 просмотра
Решения вопроса 5
Сильно зависит от типа преобладающих данных.
Если данные практически не сжимаемые - вроде видео, фото, шифрованных файлов, то вообще сжимать не надо.
Если данные хорошо сжимаются - архиватор rar, 7z .
Если в данных много повторяющихся частей - дедупликатор с компрессором - zpaq.
Ответ написан
Если прям не страшна экзотика - то brotli. У него отличная скорость упаковки/распаковки.
Но судя по тегам вам проще будет использовать lzma1|lzma2 в контейнерах xz. Очень популярное решение и хорошая скорость.
Ответ написан
saboteur_kiev
@saboteur_kiev
build engineer
Воспользуйтесь проверенным архиавтором
apt-get install rar

Для множества файлов используйте solid (-s), для повышения сжатия используйте максимальное (-m5)
rar a -ds -m5 -s -r myarchive /myfolder
Ответ написан
@ky0
Миллиардер, филантроп, патологический лгун
Зависит от содержимого бэкапов и его склонности к изменению. Если меняется часть данных - инкрементальные с любым нормальным сжатием. В любом случае, имхо, при таких масштабах разница будет мизерная.
Ответ написан
7-zip + локальная компрессия файлов
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы