Ответы пользователя по тегу Хранение данных
  • Какая файловая система в Linux поддерживает более 4 млрд файлов?

    icCE
    @icCE
    youtube.com/channel/UC66N_jRyZiotlmV95QPBZfA
    Какая файловая система в Linux поддерживает более 4 млрд файлов?
    Как поступают крупные "хостинги фоток", вроде Facebook?


    Крупные игроки обычно используют распределенные ФС. Например Facebook использует hdfs из Hadoop.
    В yandex используют блобы (и не только они) - яркий пример - reverbrain.com/eblob
    Можно смотреть в сторону ceph и других.
    Ответ написан
    Комментировать
  • Какой наилучший способ хранения большого количества небольших файлов?

    icCE
    @icCE
    youtube.com/channel/UC66N_jRyZiotlmV95QPBZfA
    Вопросы:
    1. SSD или HDD лучше для этого использовать?
    2. Какая файловая система подойдет наилучшим образом?
    3. Как быстро диск от подобного погибнет?


    Лучше использовать гибрид в вашем случаи.
    SSD использовать как кэш для HDD + использовать часть памяти под кэш для SSD.
    ZFS все это умеет делать.

    Опять же ZFS или XFS . При XFS обязательно ИБП, хотя с ФС все стало лучше но все же.

    Если делать связку, то нормальный SSD с нормальным сборщиком мусора , будет умирать очень долго.

    Есть одно но>

    Ежедневно стандартными средствами NodeJS будет создаваться порядка ~100k архивов zip в день.
    Размер каждого архива <1кб.
    Хранить каждый из них нужно порядка месяца.


    При таком подходе, лично я бы все использовал в БД.
    Ответ написан
    8 комментариев
  • Опять HP EVA 4100?

    icCE
    @icCE
    youtube.com/channel/UC66N_jRyZiotlmV95QPBZfA
    >Но при этом скорость скачивания и записи на диск не превышает ~350Мбайт/с

    Ну это уже у нас 3 гигабита, что в общем можно считать ok.

    Тем более, что если размер файла более 100Мбайт, то скорость падает, и после 1Гб размера файла (меряю тестером CrystalDiskMark, где можно его менять) она уже на уровне 150Мбайт/с и меньше.

    Ну скорее всего закончился кеш, как вы и предполагаете. Надо смотреть на характеристики железки.
    Потом у вас же скорость на HDD не постоянна, а со временем падает.

    multipatch можно посмотреть пример тут для windows server
    https://www.westcomp.ru/articles/14894/
    admsoft.ru/kak-vklyuchit-multipath-mnogoputnost-v-...

    По умолчанию там режим по кругу будет, его надо будет поменять.
    Но я не сильно уверен, что это поможет в скорости. СХД надо не для скорости, а для кол-во IOPS которые он может обработать и выдержать. Поэтому тут думать о планировании распределения данных + докупки SSD если все же нужна скорость.

    И ах да, кто-нибудь знает, где найти мануалы по SSSU?

    Стучите в HP support, они все должны дать или указать где скачать.
    Ответ написан
    Комментировать
  • Данные постоянно растут. Как быть?

    icCE
    @icCE
    youtube.com/channel/UC66N_jRyZiotlmV95QPBZfA
    - Как рассчитать предельную допустимую нагрузку на сервер?
    Понятное дело что выдерживамая нагрузка зависит от сервера и настроек ПО. Но может есть общепринятая формула?


    Увы, такой формулы нет. Приходится все всегда примерно на глаз и сходя из опыта если он есть.
    Всегда найдется причина, что не хватит мощности у сервера/серверов.

    - Данные постоянно нарастают. Скоро закончится место на харде сервера.
    Что изучить чтобы разобратся как распределять данные между множеством серверов и хардов?


    Тут в общем нет четкого ответа, опять же все исходя из того как вы пишите свою CRM и ее возможности.
    Самое простой пойти на вертикальное масштабирование. Те тупо увеличиваем мощности железо, ставим новые HDD, собираем RAID итд. Это самый простой способ.

    Теперь о сложных. Насколько я понял с БД проблем нет, на худой конец ее можно вполне перекинуть на отдельную машину, что бы не замарачиватся с кластеризацией БД.
    Теперь перейдем к файлам. На текущий момент можно использовать распределенное ФС такие как ceph и glusterfs,ocfs2 итд. Можно вполне спокойно добавлять пулы машин, к сожалению я не готов сейчас сказать, готовая ли у них именно CEPH FS для использования в продакшене. Можно использовать, что-то типа Hdfs из hadoop, но тогда надо будет тянуть весь hadoop,mapreduse итд итд. В общем это просто пример, пусть и плохой.
    Можно хранить как блобы , используя eblob (делают русские люди) reverbrain.com/eblob

    В общем вариантов много, как пойти зависит только от вас.
    Ответ написан
    Комментировать
  • Необходимо решение для архивирования видео данных с камер видео наблюдения на 10 лет?

    icCE
    @icCE
    youtube.com/channel/UC66N_jRyZiotlmV95QPBZfA
    Сетевое хранилище должно поддерживать горячую замену жестких дисков. После заполнения к примеру 1 жесткого диска, запись должна автоматически переходить на следующий жесткий диск. После 1-ый будет изыматься и сдаваться в архив. В случае возникновения каких-либо ошибок решение должно уведомлять конечного пользователя.
    Спасибо всем.


    HDD сами по себе не надежны. В вашем варианте лучше использовать стримеры. Кассета стримера гарантирует вам сохранность данных на 30 лет. Кассеты дешевые, но вот сами стримеры дорогие. Можно использовать как роботизированные головы так и одиночные. Сейчас стоит рассматривать покупку стримеров не ниже LTO5.
    Я и сам использую их дома и на работает, когда работал. Сейчас есть LTO1,2,4,7 :)

    https://plus.google.com/+VladimirZhurkin/posts/hvJ...

    Более подробно вообще о технологии стримерах DLT и как они работают:
    https://www.youtube.com/watch?v=7yN8WzWJcYk
    Ответ написан
    Комментировать
  • HP Command View EVA ошибка при установке, что делать?

    icCE
    @icCE
    youtube.com/channel/UC66N_jRyZiotlmV95QPBZfA
    Ну а попробовать все удалить и установить вновь ?

    Вообще я бы сильно рекомендовал вам начать с эмулятора, так как вы можете уже бед наделать в продакшене.

    https://h20392.www2.hpe.com/portal/swdepot/display...

    Сильно освежит голову.

    Еще у HP есть диск все в одном (забыл название, но могу найти) Там драйвера к сервера,полкам, обновление firmware итд итп.

    База данных у них на psql и должна лежать в \EVAPA\DataBase\Postgres\data
    Но руками вот так сходу и через тостер сложно что-то посоветовать сделать.
    Ответ написан
  • Как подключить дисковый массив к серверу?

    icCE
    @icCE
    youtube.com/channel/UC66N_jRyZiotlmV95QPBZfA
    У вас небольшая каша в голове.

    Давайте по порядку у вас есть:

    HP StorageWorks EVA 4100 - 1 шт
    Сервер с FC - 1 шт
    SAN switch - 1 шт.

    Первое, что не очень понятно зачем вам в такой конфигурации вообще нужен San switch ?
    Вполне на сервер можно поставить два FC адаптера и жить спокойно, тем более они явно стоят дешевле san switch. Ну или вы все же планируете больше чем 1 сервер.

    Второй момент, вы не указали , какой у вас san switch ? san switch должен иметь eternet порт, который должен быть включен в managment сеть ну или просто в сеть, если у вас пока нет сети управления или вы вообще не будите ее делать и положите болт на всю безопасность. В ту сеть вы должны будите воткнуть ILO или impi , ну или другой интерфейс управления сервером и собственно вашей СХД. Точно не помню у этой модели единый интерфейс управление на голову или каждая голова имеет свой. В итоге в этой сети у вас будет все, для того, что бы управлять этим вот всем. По FC у вас передаются только данные. В СХД вы создаете lun, а потом уже вешаете конкретный lun на конкретный сервер. Как вариант поднимаете кластер и тогда используете кластерную ФС для нескольких серверов. В Win это в основном использовалось для Hyper-C и MSSQL.

    В общем вроде как-то так.

    P.S. Хотя конечно я бы все делал по другому :) на Storage spaces и JBOD корзинах.
    Ответ написан