Стоит задача организовать хранение 30 ТБ фото и видео материалов с гарантией того, что ни один бит хранимых данных не исказится. Как это реализовать?

Данные: 20 ТБ видео-роликов и 10 ТБ фото.
Требования: гарантирование неизменности и сохранности данных. Для каждого видео-ролика и фото при записи в хранилище будет подсчитана хеш-сумма, которая будет хранится в БД, расположенной на этом же хранилище.
Нагрузка на хранилище: частое последовательное чтение и редкая запись.
Высокая производительность не нужна.
Как это реализовать? Какой raid-массив выбрать? А если не raid-массив, то что?
  • Вопрос задан
  • 4249 просмотров
Решения вопроса 1
fdroid
@fdroid
press any key
ECC-память + ZFS (Linux, FreeBSD) в нужной конфигурации RAIDZ (не путать с RAID!) + нужное количество дисков. RAID-контроллер не обязателен и даже вреден.
Ответ написан
Пригласить эксперта
Ответы на вопрос 7
athacker
@athacker
Плюсую за вариант, предложенный sanrega
ZFS raidz решает эту задачу. Если очень боитесь -- можно даже raidz2 (условиный аналог RAID6). Если совсем-совсем страшно -- ну, есть ещё raidz3 :-)

На диски и контроллеры, по большому счёту, при этом пофиг. ZFS регулярно тестирует блоки данных на предмет консистентности, и если блок повреждён -- восстанавливает его с помощью данных с других дисков массива и записывает на место выправленную копию. Поставьте в настройках, чтобы scrub один раз в несколько дней запускался.

Это что касается гарантии неизменности. Что касается гарантий доступности -- всё зависит от того, какие конкретно вам гарантии нужны, и сколько денег вы можете на это потратить.
Ответ написан
gbg
@gbg
Баянист. Тамада. Услуги.
Собрать CEPH storage с бекендом bluestore минимум на пяти серверах с фактором репликации 3. Потребуется 100Tb сырого дискового пространства. Контрольные сверяются как на сети, так и при хранении на дисках.
Ответ написан
saboteur_kiev
@saboteur_kiev
build engineer
Взять NAS на 8 дисков, забить их 8-терабайтными или 10-терабайтными SATA дисками.
Организовать их в рейд с зеркалированием. Вовремя менять, если диск вышел из строя. Может имеет смысл сразу купить один запасной диск, чтобы был под рукой.

Дешевле - только если материнка позволяет подключить такое количество дисков.
Ответ написан
denistu10
@denistu10
DevOps
- RAID 10
- AWS S3
Ответ написан
@abroabr
Полную гарантию дает только страховой полис.

Можно хоть в zip запихавать, хоть SHA проверять, хоть ZFS использовать.
Но полную гарантию дают только 3 независимые копии, размещенные в разных зданиях.

Я бы использовал или ZIP или ZFS
Ответ написан
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
FreeNAS
FreeNAS with ZFS to protect, store, backup, all of your data. FreeNAS is used everywhere, for the home, small business, and the enterprise.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы