Нужен ли дополнительный RAID-контроллер?

Да, я не разбираюсь в этом, практическая работа. Мне нужно обеспечить хранилище на 10 ТБ из SAS дисков. Может вообще обойтись без RAID? Или использовать RAID10? По скорости диски (среднее время задержки) соответствуют требованиям. Как тогда мне повысить надежность?

Какого объема у вас диски? Идите и учите материал.

Армянское Радио, 1800 ГБ

Совсем не обязательно использовать ZFS - можно собрать RAID на железке, если будет приличная куплена, или с помощью того же mdadm, но конечно не RAID1, и стоит почитать о уровнях RAID, и выбрать нужный для задачи.
Это будет шустрее чем ZFS, во многих случаях, да и экономнее по потреблению памяти.
А LVM, может нужен, а может и нет - тут вопрос что там, и как будет хранится.

Борис Сёмов, RAID на железке можно покупать, если таких железок есть больше трех штук, чтобы в случае проблем можно было поменять.

hsadik Raid 5,6,10 влезает в 10TB, при таком объёме и кол-ве дисков. Raid 10 будет быстрее всего (12x read, 6х write), и экономнее по вычислительным ресурсам, но 1 диск до отказа.

Борис Сёмов, RAID5 крайне не рекомендован для новых дизайнов из-за своей падучести при ребилде, вам это известно?

При таких объемах данных нужен линейник из нескольких RAID10 (или ZFS), чтобы сдыхание одного диска не приводило к глобальному ребилду массива.

Армянское Радио Часто, достаточно купить что-то не экзотическое, что наверняка будет в наличии.
Не все сервисы обязаны иметь такую уж высокую надёжность, чтобы держать запас контроллеров, а те, что обязаны, не собираются вот так на одном сервере кем-то кто не знает что делать, обычно.
К тому же, дорогие рейд контроллеры, на которых, собственно, имеет смысл собирать хардваный рейд, довольно надёжны, особенно, в сравнении с материнкой от asus, и не понятно какими комплектующими, которые к ней подключены, и не он будет тут наиболее вероятной точкой отказа. =)

Борис Сёмов, оно будет в наличии и через пять лет, когда ВНЕЗАПНО все начнет дохнуть? Вы большой парк машин эксплуатировали? Сколько данных теряли за один раз? Как быстро удавалось восстановить?

Армянское Радио, Да, можно собрать с помощью LVM что-нибудь типа 2-3хRAID10 в один блок, что не решит полностью проблемы, и скорее всего, уменьшит скорость. А можно и с ZFS пожить, хотя с ней всё не так уж радужно.
Но, часто, деградация 10 и его перестроение, при замене диска, не вызывает большой проблемы. 1,8тб скопировать даже под нагрузкой не так и долго, тем более на SAS. Эта проблема больше при больших и медленных дисках проявляется.

И я не рекомендовал 5, я написал, что он, в частности, влезает по объёму. Автору всё равно надо хорошенько почитать, чтобы принять разумное решение. И отнюдь не только наши комментарии...

Борис Сёмов, где вы видите в ТЗ от автора нижнюю границу скорости? Нет ее. 1.8 терабайт даже без нагрузки будет копироваться уж никак не меньше трех часов, а если с нагрузкой и постоянными откатами из-за этого? Ваш опыт эксплуатации хранилищ очень похож на опыт эксплуатации дивана, извините.

SyavaSyava, у меня есть практический опыт вылетания RAID6 полки HP с массивом в 16 Tb. Именно во время ребилда после замены одного диска - сдохших дисков стало два и полка встала.

Армянское Радио Нигде, поэтому и не советую какое-то конечное решение, а говорю о достоинствах и недостатках разных вариантов, как и вы.

Да, 3 часа в самом лучшем случае. Собственно перестройка любого рейда это процесс не быстрый, особенно, если его нельзя вывести из эксплуатации. Но если он не перегружен, это может не быть проблемой.
ZFS тоже придётся при замене диска восстанавливать избыточность, и там внутри тоже будут копироваться эти 1,8тб, в итоге, просто это будет менее прозрачно.

Ну а последняя фраза это от отсутствия реальных аргументов, вероятно...

Борис Сёмов, за три часа тормозов можно выслушать много интересного от себе из уст руководства и пользователей системы. В отличие от массива, где будут гарантированно копироваться все терабайты, ZFS будет копировать только занятые.

SyavaSyava, полная потеря массива, во время ребилда вылетело один за одним два диска.

Армянское Радио А можно и не выслушивать. Ребилд рейда, не всегда ведёт к проблемам сервиса, о чём я выше и писал. И не раз наблюдал на практике.
К тому же занято может быть и 90% места, и разница будет мала.

Ну и вернёмся к производительности, ZFS штука удобная, но прожорливая, и не то чтобы очень шустрая. И если у вас будет такая нагрузка, что при перестроении рейда будут такие тормоза, что придётся "выслушать много интересного от себе из уст руководства и пользователей системы", то с ZFS на той же нагрузке, есть совсем не нулевой шанс выслушивать всё это при штатной работе, даже без отказа диска. =)

ZFS это один из вариантов, иногда разумный, иногда нет, а отнюдь не "серебряная пуля". Собственно эту мысль я и пытаюсь донести...

SyavaSyava

А вот на пресловутом RAID10 при отказе 2 дисков мы гарантированно бы потеряли весь массив.

Нет, не совсем так. При потере двух дисков в одном зеркале только мы теряем данные. А вероятность этого заведомо меньше, чем просто потеря двух дисков.
Теоретически в Raid 10 можно потерять аж до половины дисков без потери информации. =)

SyavaSyava, Вообще, если сравнивать надёжность, то лучше, всё же, применять теорвер, и делать это объективно. =)

Армянское Радио, Прошу прощения - много комментариев, и я не уследил за всеми:

оно будет в наличии и через пять лет, когда ВНЕЗАПНО все начнет дохнуть?

За 5 лет, скорее умрёт выбранная платформа, а скорее всего будет заменена. Впрочем, 5 летний распространённый контроллер найти, действительно, не проблема, если не где-то уж совсем в глуши...

у меня есть практический опыт вылетания RAID6 полки HP с массивом в 16 Tb. Именно во время ребилда после замены одного диска - сдохших дисков стало два и полка встала.

Это печальный опыт, 100% надёжного ничего нет. Один раз в Raid10 три диска потерял из 8, и не фатально, кстати - случаи бывают разные. =) Но ZFS тоже можно потерять, по мне, так даже проще, я уже пробовал...

Армянское Радио,

RAID на железке можно покупать, если таких железок есть больше трех штук, чтобы в случае проблем можно было поменять.

Железные RAID элементарно восстанавливаются программным способом.

Если речь идет о реально серверных RAID, то там на дисках таблички есть с описанием RAID, формат табличек стандартизован. Табличек на каждом диске минимум две, иногда 3. На каждом диске! Они идентичны (если авария не произошла при перестройке RAID). Видел лично.

Если рейд не серверный, то есть по сути программный, то еще проще, если конечно тебе известна первоначальная компоновка.

Борис Сёмов,

Это печальный опыт, 100% надёжного ничего нет. Один раз в Raid10 три диска потерял из 8, и не фатально, кстати - случаи бывают разные. =) Но ZFS тоже можно потерять, по мне, так даже проще, я уже пробовал...

Известная ошибка - RAID и крутая файловая система не заменяют и не отменяет наличие backup

RAID позволяет продолжить работу при сбое, вместо того, чтобы всю деятельность приостановить и начать восстаовление из бэкапа - только и всего.

Бэкап реализует защиту от ситуаций, при которых RAID вообще будет вести себя противоположенным образом. Например, злоумышленник (или по ошибке) переписал содержимое файла. На RAID содержимое файла будет изменено на всех дисках и нигде вы не найдете старого варианта (если файловая система без версионироваения). Бэкап же как раз в этой ситуации (если вы его делаете регулярно и храните историю бэкапов, а не только последний) - поможет вам.

abroabr, бекап становится делать проблемно, когда данных > 10T.

От вышеописанной ситуации помогают COW и снапшоты, которые как раз и есть - "крутая файловая система".

Армянское Радио, кто сказал, что бэкап должен быть полным каждый?

существуют инкрементальные бэкапы.
существует поддержка горячих бэкапов на уровне API ОС и файловых систем.

но да, в случае высоконагруженных систем целесообразна репликация.
она все равно нужна, чтобы система продолжила работать когда произойдет полный сбой сервера (а не только RAID-подсистемы этого сервера).

abroabr, инкрементный бекап в любом случае полезет индексировать все терабайты на устройстве.

Первое, что делает большинство шифровальщиков - отключение всех таких бекапов.

Пролезание бекапа из стораджа на уровень приложений ("поддержка горячих бекапов на уровне API...") - так себе идея, сокращающая гибкость проектирования.

Армянское Радио,

Пролезание бекапа из стораджа на уровень приложений ("поддержка горячих бекапов на уровне API...") - так себе идея, сокращающая гибкость проектирования.

Все упирается в цену потери твоих данных.

abroabr, Нет никакой ошибки - речь была не о том, что данные безвозвратно потеряны, а о том, что ломаются и рейды и zfs. А простой на время восстановления, это тоже вполне себе неприятность...

Армянское Радио Инкриментальному бекпу, кстати, не обязательно перекапывать все терабайты - мета информации о файлах куда меньше.

а о том, что ломаются и рейды и zfs. А простой на время восстановления, это тоже вполне себе неприятность...

все зависит от цены простоя, скажем такие вещи как репликация, которые могли бы прогарантировать от простоев в дополнение к RAID - не все делают, не всем нужно.

так то RAID-зеркало изначально и придуман, чтобы можно было продолжать работать даже со сдохшим диском без простоя.