@wcyb

Организация хранения большого количества небольших файлов в нескольких контейнерах с одной точкой монтирования. Как?

Есть примерно 1,5 терабайта аудио данных (аудиобиблиотеки, музыка и др) как в lossy так и в lossless, на данный момент файлов больше 200 тысяч. Есть как простаивающие данные, так и часто обновляющиеся (изменяются и добавляются новые). Эти данные бэкапятся в облако (зеркалятся между разными облачными дисками). Раньше (и пока что сейчас) данные хранились и бекапились в открытом виде (имею ввиду как есть - обычными файлами), чтобы их можно было просматривать/пользоваться (как в облаке так и локально) и редактировать.
Так как данных становится все больше, такой вариант хранения и бэкапов больше не устраивает, сейчас загрузка по сети занимает очень много времени (больше недели всей аудиотеки), при значительных изменениях (условно от 50Гб, хотя может быть и больше) частичная загрузка/синхронизация тоже идет долго. Фактически, при доступных 100Мбит/с средняя скорость загрузки ~13Мбит/с (это уже при отключении сверки файлов по md5).

Хочу перейти на хранение в динамических контейнерах (как локально, так и в облаке) и работать только локально примонтировав контейнер. Но тут появляется другая проблема хранения и передачи одного большого контейнера, который может легко запороться если начнутся проблемы с жестким диском и в целом тоже неудобен. Поэтому vhd, veracrypt и подобные решения не подходят.

Сейчас безуспешно ищу контейнер, который может разбиваться на части определенного размера и будет монтироваться как один диск, и в идеале будет безошибочно монтироваться при отсутствующих частях, допустим есть битый файл контейнера (часть контейнера), и контейнер будет монтироваться и работать корректно, но с отсутствием данных из битого файла. Есть ли вообще такой контейнер, который умеет так? Из систем используется как windows (10 версия), так и linux.

Я в принципе готов руками создавать отдельные контейнеры, заполнять их, главное чтобы они монтировались как один диск. Вроде как есть вариант хранения в нескольких vhd в soft raid 0, но даже если это работает все сломается при выходе из строя хотя бы одного контейнера
  • Вопрос задан
  • 316 просмотров
Решения вопроса 1
Jump
@Jump Куратор тега Системное администрирование
Системный администратор со стажем.
Да никак.
Во первых контейнеров с такими характеристиками не существует.
Во вторых контейнеры тут ничем не помогут.

Фактически, при доступных 100Мбит/с средняя скорость загрузки ~13Мбит/с (это уже при отключении сверки файлов по md5).
Контейнеры тут ничем не помогут.

С файлами без контейнеров работать проще и быстрее.

и все, бекап и синхронизация уже могут растянуться примерно на пол дня и более
Чем бэкапите?

Думаю все проблемы из-за того что бэкап идет сразу в облако.
Ответ написан
Пригласить эксперта
Ответы на вопрос 3
athacker
@athacker
Вариант хранения всех файлов в облаке с монтированием локально по WebDAV вам не подойдёт? Винда умеет WebDAV-хранилища монтировать как локальный диск.
Ответ написан
@wcyb Автор вопроса
Почти полностью удовлетворяющий вариант пока додумал следующий: каждый конечный каталог проектов и группированных коллекции превратить в динамический vhd и монтировать как папку, воссоздав при этом скелет каталогов до целевых каталогов. Схема примерно такая:
main
-- projects
---- project1.vhd folder
---- project2.vhd folder
---- ...
-- sub1
---- sub1_1
------ library1.vhd folder
------ library2.vhd folder
------ ...
---- collection1.vhd folder
---- ...
-- music
---- discography1.vhd folder
---- ... 
-- ...

чуть больше ручной работы, но зато каждый конечный vhd самодостаточен и при необходимости можно использовать как отдельно, так и прозрачно в группированной структуре каталогов

единственное что в процессе создания/редактирования временных файлов в одном проекте может быть под 300Гб и более, и есть вероятность потерять весь проект при битом файле, то есть, проблема с небольшими файлами решилась, но появилась проблема с большими файлами - по идее решается руками с нарушением структуры каталогов...

ну и в любом случае загружать/скачивать в таком случае придется больше, чем обычно, что конечно минус, но на практике будет в разы быстрее при работе в пределах одного проекта. Правка 2-3 файлов в относительно большом контейнере конечно выливается в провальный сценарий
Ответ написан
Комментировать
@loderunner84
присмотреться к Synology
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы