Существует ПО, которое при помощи техники
дедупликации данных очень эффективно позволяют хранить коллекции файлов, среди которых есть множество дубликатов, а также если файлы отличаются совсем незначительно, при этом сохраняются лишь сами изменения, порционно.
Такое ПО имеет много общего с традиционными системами контроля версий, используемыми для хранения исходных кодов программ, только адаптированы для работы с большими объёмами информации, такими как коллекции медиа-файлов.
Одна из таких известных мне программ - это
boar.
you might think of boar as "version control for large binary files"
Она имеет интерфейс для командной строки, хотя есть и дополнительные программы для неё с графическим интерфейсом:
boar-gui,
boarG.
Есть и другое подобное ПО, такое как
bup,
git-annex.
Такие программы обычно хранят специальный (относительно компактный) архив отдельно от самой коллекции файлов. Именно такой репозиторий и стоит синхронизировать в "облачный" хостинг.
Куда синхронизировать данные такой репозиторий? Вариантов множество:
- Amazon S3-совместимые хранилища, которые можно установить на подконтрольном сервере (Minio попроще, Ceph сложнее)
- Клиент Dropbox, Google Drive или множества других сервисов
- Сервер ownCloud/nextCloud и агент, устанавливаемый на клиентскую ОС, по подобию Dropbox
- сервер VPS с ручным BAT скриптом для заливания файлов на сервер из клиентской ОС
Простой
