Стоит задача организовать хранение 30 ТБ фото и видео материалов с гарантией того, что ни один бит хранимых данных не исказится. Как это реализовать?

Бюджет
Скорость доступа
Расположение
?

sim3x, Пока без бюджета. Бюджет ещё рассматривается, но чем меньше, тем лучше. Нет смысла тратить больше, чем достаточно.
Скорость не важна.
Расположение – на сервере предприятия.

Иван Мельников,
бу стример и двойной набор касет
www.overlandstorage.com/blog/?p=323

sim3x, первый раз о таком слышу.
А если выбирать из типов RAID, то какой наиболее подходящий?
ps. Почитал. Стриммер точно не подходит.

Иван Мельников, никакой
На таких обьемах у вас при вылете 1 диска хранилище уйдет в синхронизацию на неделю

Собираете 3+ пк (без raid) и делаете из них кластер для хранения

sim3x, А как же RAID-10 (RAID-0 из зеркал по 2 диска)? Здесь вроде не чему перестраиваться.

Иван Мельников,
У вас вылетел 1 диск на 3Тб
Вы заменили упавший диск
Что нужно сделать, чтоб хранилище заработало?

У вас вылетело 2 диска в raid10?
Что произошло с вашим массивом?

sim3x,

У вас вылетел 1 диск на 3Тб
Вы заменили упавший диск
Что нужно сделать, чтоб хранилище заработало?

Если это RAID-10, то нужно в упавшем RAID-1 скопировать данные с выжившего диска на новый.

У вас вылетело 2 диска в raid10?
Что произошло с вашим массивом?

Вероятность вылета 2-х дисков из одного зеркала одновременно крайне мала. Вероятность разрушения RAID-массива можно оценить.
Например, у нас имеется RAID-10 из 4-х пар дисков по 8 ТБ (зеркал), соединенных в RAID-0. Полезный объем – 32 ТБ.
Предположим, что вероятность выхода из строя нового жесткого диска в первые 3 года работы равна 0,08.
Предположим, что вероятностное распределение выхода диска из строя от отработанных дней равномерное. Вычислим вероятность выхода из строя двух дисков из одного зеркала при условии, что между моментами их вылета прошло меньше 7 полных суток. (Мы закладываем 7 полных суток на копирование данных с выжившего диска в зеркале на новый, который мы поставим вместо вылетевшего.) Эта вероятность равна 0,000087 (Можете проверить). Но у нас 4 зеркала. Какова вероятность, что хотя бы одно из них безвозвратно разрушится в течении 3- лет? Эта вероятность равна 1 - (1 - 0,000087)^4 = 0,00035. То есть шансы безвозвратно потерять данные равны 2874:1. Мне кажется, что этого достаточно.

Иван Мельников,

Если это RAID-10, то нужно в упавшем RAID-1 скопировать данные с выжившего диска на новый.

и как сделать хранилище на 30тб на 1?

(Можете проверить)

)))
Нет, мне одного своего случая и нескольких чужих хватило
Но вы можете проверить сами

и как сделать хранилище на 30тб на 1?

Например, RAID-10 из 4-х пар дисков по 8 ТБ (зеркал), соединенных в RAID-0. Полезный объем – 32 ТБ.

Иван Мельников,
и как сделать хранилище на 30тб на raid1?
Не raid10

PS seagate - не советую использовать впринципе
А новые версии любых вендоров - пока диски не пройдут обкатку хотя б 3-4 года

sim3x,

и как сделать хранилище на 30тб на raid1?

Никак. Я не понимаю суть вопроса. Зачем нам непременно raid1 на 30тб, когда это можно сделать посредством raid10?

Иван Мельников,

Предположим, что вероятностное распределение выхода диска из строя от отработанных дней равномерное.

Так считать неверно. Вы считаете выход дисков из строя независимо друг от друга, от обычного износа. Но могут диски сгореть все сразу - пожар, наводнение. молния, взрыв, "пьяный электрик", война, астероид, атака марсиан... Поэтому, ваши расчёты неверны. На одном сервере хранить недостаточно. Конечно, это зависит от ценности данных.

Иван Мельников,

Расположение – на сервере предприятия.

бывают пожары,
реже - бывают кражи

бывают сбои высокоуровневые (не сбои ФС или RAID) когда в файлы пишется шняга, а RAID послушно повторяет эту шнягу по всем дискам.

бывают злоумышленники (или ошибающиеся) которые пишут шнягу в файлы, а RAID послушно повторяет эту шнягу по всем дискам.

в дополнение к RAID нужен еще RAID для копии.
копия должна быть в другом здании, изолированном от основного "датацентра предприятия".
как лучший вариант - в другом подразделении на другом конце города.

и, практика показывает, что мало полной копии, а нужна еще копия с историей изменений (а это очень много места).
еще практика показывает, что в нужный момент бэкап оказывается поврежденным сам. то есть бэкапа нужно 2.

а еще нужно время от времени (а лучше автоматом регулярно) проверять работоспособность и бэкапа и RAID

как вариант хранить копии резервные в специализированном хранилище бэкапов, например, Amazon Glacier и Backblaze

Иван Мельников,

Предположим, что вероятностное распределение выхода диска из строя от отработанных дней равномерное

че гадать-то.

возьмите статистику по дискам Backblaze

abroabr, я могу взять точную статистику, но порядок ответа это не изменит, а расчеты значительно усложнит. Расчеты придется делать на компьютере, а так можно ручкой и листочком обойтись, потратив 10 минут.

Иван Мельников,

Вероятность вылета 2-х дисков из одного зеркала одновременно крайне мала.

Голая математика тут не при чем.

За последние 15 лет я лично встречал выход второго диска в RAID-массиве из строя уже раза 4. И это при том, что я не сис. админ, а разработчик софта и мне по профессии не положено особо часто с серверным железом напрямую контачить.

Фокус в том, что после выхода из строя одного диска - нагрузка на остальные резко возрастает. Не последюю роль в этом играет и то что RAID-массив начинает срочно ребилдиться.

Ещё бывают сбойные партии дисков. И запланированное устаревание. Буквально месяц назад два диска в RAID-1 умерли с интервалом в 2 недели. По данным S.M.A.R.T. - живые. Но любая операция занимает минимум 10 секунд. По счастью, успел поменять по очереди - перелив 8Tb занимает время, да.