@fokin_nikolay1989

Как быстро запаковать маленькие файлы?

Доброго вечера.
Помогите разобраться с ситуацией:
Есть каталог в котором есть огромное количество маленького размера файлов.
Как можно запаковать как можно быстрее эти файлы?
С тем расчётом, что файлы скопившиеся за год архивируются в tar.gz за 3е суток
  • Вопрос задан
  • 179 просмотров
Пригласить эксперта
Ответы на вопрос 3
Если производительность архивации упирается в процессор, то рекомендую архиватор pigz, он умеет использовать все ядра процессора.
Ответ написан
Комментировать
@pfg21
ex-турист
7zip rar и сжатие и многопоточность.
Ответ написан
Комментировать
Если важна скорость, то нужно выбирать режим быстрого сжатия конкретного алгоритма или же изначально выбирать быстрые алгоритмы сжатия, такие как LZ4, LZOP, ZSTD. В последнем степень сжатия высока относительно алгоритмов такого класса.
А в какой контейнер упаковывать, TAR (предпочтительнее), ZIP (если без сжатия) - не столь важно.
То есть я предложил бы TAR + LZ4, если требуется самая высокая скорость записи на накопитель и комбинацию TAR + ZSTD если нужно добиться степени сжатия, близкой к GZIP.
Альтернативно, вместо классических архиваторов можно использовать программы дедупликации, такие как bup, zpaq, BackupPC. Они позволят сохранять лишь изменения в файлах, не дублируя информацию при каждом слепке информации.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы