Ответы пользователя по тегу Хранение данных
  • Где взять сервер с реально безлимитным высокоскоростным трафиком?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    на hetzner сказано: Выделенный сервер "Безлимит 1Gbps" ... там реально все безлимитно в этом плане?

    Я сам не пользовался этой услугой (по нашему роду деятельности нет потребности), но судя по тому, что я читал на околохостинговых ресурсах, да, там безлимит.
    Кроме того, ничего не мешает вам напрямую адресовать этот вопрос их поддержке.

    Или рекламируемый 1Gbps в итоге оказывается порт к которому подключено 10 серверов

    Вы смешиваете Unlimited / Unmetered и Dedicated.
    Сервер выше на Хетцнере точно будет shared.

    Технологии облачных хранений типа S3, для такого объема трафика стоят неимоверно дорого

    Если вам реально нужен dedicated, я полагаю, что не стоит ожидать вариантов дешевле $300 в месяц (речь о сервере, не S3).
    Начните с Hurricane Electric, у них цена на дедикейтед почти наверняка будет одной из самых низких. В более экзотических, "less connected" странах, надо будет добавить минимум, пару сотен.

    Да, и это всё актуально, если вам не нужно ничего сомнительного - торренты, DMCA-ignored, и т.п. Такие варианты однозначно будут дороже.

    С сервером от Хетцнер сделайте следующее: напишите два письма в саппорт.
    Первое - с вопросом про анлимитед, прямо сказав, что "понимаю, что вам нужно обеспечивать равные условия для клиентов, но мне вот реально нужен анлимитед, или хотя бы NN терабайт в месяц". Когда ответят - напишите второе, спросив про дедикейтед, про то, как разделяется канал из первого вопроса, и сколько будет стоить выделенный.

    С этого сервера будут скачивать порядка 80Тб в месяц

    Из бюджетных вариантов посмотрите в т.ч. на Netcup. Вот, к примеру, на 80 ТБ: https://www.netcup.de/bestellen/produkt.php?produk...
    Ответ написан
    Комментировать
  • Аналоги Nextcloud?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    FileStash, EteSync, Syncloud, HRCloud, MinIO, XBackBone, e2ee

    Но наиболее развитые варианты вы перечислили.
    Если их возможности вам не подходят, то наиболее разумный вариант - брать один из похожих проектов с гитхаба (их немало) и точечно дорабатывать под ваши нужды.
    Ответ написан
    Комментировать
  • Заменил файл, как восстановить прежний?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    возможно восстановить как-то?
    • Обеспечьте отсутствие записи на диск, на котором был перезаписанный файл;
    • Если это ССД, то либо оперативно отключите TRIM на своей машине, либо быстро выключите её, найдите другую, отключите ТРИМ там, и подключите свой диск;
    • Сделайте полное сканирование диска Р.сэйвером, не исключено, что удастся восстановить и другие версии заменённого файла (если он периодически обновлялся).
    Ответ написан
    Комментировать
  • Как удалить доступные мне файлы в Google Диске?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    Ситуация "удалил несколько документов, однако, остались четыре файла" ясна не до конца, но в любом случае, попробуйте перетащить их в "Корзину" (Drag and Drop).
    Ответ написан
    1 комментарий
  • HDD, SSD в плане электрической стабильности?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    При скачке напряжения выйти из строя может как HDD, так и SSD. Соответственно, вам действительно было бы хорошо что-то сделать с питанием.

    У жёсткого диска отрицательным фактором может быть частая остановка/раскрутка, если компьютер при просадках не отключается.
    В серверных ССД (дороже бытовых) нередко установлены конденсаторы, позволяющие дописать данные при резком исчезновении питания.

    Помимо этого, вам стоит задуматься о резервных копиях, видимо, на отключаемый носитель. Именно для хранения HDD однозначно надёжнее. На современных SSD, лежащих на полке, данные имеют заметный шанс достаточно быстро "протухнуть". Основное назначение ССД - это скорость работы.
    Ответ написан
    5 комментариев
  • Какие есть WEB self-hosted решения для обмена файлами?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    Комментировать
  • Как реализовать метод DOD'у или метод Гуттмана по затиранию данных на Python?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    Если вы хотите затирать весь диск, то не исключаю, что это у вас вполне получится.

    Вот статья о прямом доступе к жёсткому диску из Питона: https://habr.com/ru/post/274195/ и код к ней: https://github.com/kazenniy/atapt

    Кстати, затирать каким-то специальным образом особого смысла нет, достаточно пройтись одним слоем рандомных данных.

    Если же вы хотите затирать конкретные файлы, папки, и т.п., то ваша задача сильно усложняется - вам нужно разбирать структуры файловых систем.
    Можно попробовать использовать библиотеки наподобие этой (НТФС), но про них ничего сказать не могу, не было потребности экспериментировать с чем-то подобным: https://github.com/williballenthin/python-ntfs
    Ответ написан
    Комментировать
  • Какие есть программы для "перемагничивания" жестких дисков?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    Когда нет воздействия негативных внешних факторов, на жёстких дисках информация может храниться очень долго.

    Если же диск активно используется, то скорее он у вас каким-либо образом выйдет из строя, либо начнёт деградировать магнитная поверхность пластин (не размагничиваться, а именно приходить в негодность), чем начнут происходить изменения намагниченности.

    Если вдруг вы всё равно беспокоитесь на этот счёт, то можете делать следующее:
    • "Двигать данные" руками - создавать копии важных папок на том же диске, старую копию удалять, новую - сохранять. Либо переносить важные данные на другой носитель и обратно (убедившись, что второй носитель в полном порядке и потерь не возникнет);
    • Время от времени запускать тесты чтения, например, в Р.тестере (детализацию можно сделать максимальной - увидите все подробности).

    А по-хорошему, если у вас есть какие-то важные вам данные, то они должны храниться, минимум, в виде двух копий. А лучше - трёх. Бэкапы позволят забыть о различных размагниченностях.

    P.S.
    Кстати, с SSD дело обстоит радикально по-другому, долго хранить на них что-либо "в ящике стола" совсем не стоит.
    Ответ написан
    2 комментария
  • Где лучше всего хранить файлы различного размера?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    развернуть собственный сервер-хранилище (эта идея была практически сразу откинута)

    Не совсем ясно, отбросили ли вы исключительно "железный" отдельный сервер, или в т.ч. и виртуальные.
    В любом случае - один из вариантов - это "storage VPS", что-то наподобие вот этого (по ссылке просто пример): https://hosthatch.com/storage-vps

    Также можете использовать предназначенные для хранения сервисы:
    -- https://www.hetzner.com/storage/storage-box (ФТП и подобное);
    -- https://www.hetzner.com/storage/storage-share (NextCloud).

    Последние два варианта по цене побить, наверное, можно, но полагаю, что немногие из известных игроков предложат дешевле (хотя не проверял). Это уже готовые решения, которые вполне себе дёшевы и сердиты.
    Ответ написан
    Комментировать
  • Какие решения подойдут для хранения и использования фото в сети?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    Вам нужен либо т.н. "storage VPS", что-то наподобие вот этого (просто пример): https://hosthatch.com/storage-vps
    либо специальный сервис:
    -- https://www.hetzner.com/storage/storage-box (ФТП и прочее);
    -- https://www.hetzner.com/storage/storage-share (NextCloud).

    Последние два варианта по цене побить, наверное, можно, но полагаю, что немногие из известных игроков предложат дешевле (хотя не проверял). Младший план в обоих уже 100 ГБ.
    Ответ написан
    Комментировать
  • Что делать с кучей HDD?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    как из них сделать хранилище так, что б все диски представляли из себя именно один большой диск?

    Вам нужна "типа интеллектуальная" железка наподобие Drobo, они умеют использовать разные диски в массиве.

    Единственное, что крайне важно помнить: если такая железка падает, или у неё происходит какой-то внутренний сбой, шансы на восстановление весьма низкие. Стоит ей потерять или повредить метаданные - всё, ваши данные представляют собой однородную жидкую кашицу.

    Слишком уж "умные" там проприетарные алгоритмы, и слишком много накручено, чтобы сделать устройство "удобным" для пользователя. Так что ничего важного там хранить действительно не стоит.
    Ответ написан
  • Как скачать .sh файл c облачного диска?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    После просмотра предупреждения ваш файл нормально скачивается в Firefox.

    google-drive-shell-script-download-virus-scan-warning.png

    google-drive-bash-sh-file-download-firefox.png
    Ответ написан
    Комментировать
  • Какой старый недорогой HBA контроллер (lsa 9200...9211 / 93хх) выбрать для поддержки новых больших дисков (14-18Тб) от 5шт?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    HBA контроллер для бОльших новых дисков

    Мы недавно под конкретную задачу по восстановлению данных брали LSI 9200-16E. К примеру, на eBay они стоят совсем копейки.
    Альтернатива - LSI 9200-8E, но при минимальной разнице в цене, отчего не взять четырёхпортовый?

    Но это внешний HBA-адаптер, мы подключали пару полок SuperMicro 837E16-RJBOD1. А в них были SAS-диски ST12000NM0027 (Seagate Exos X12 на 12 ТБ).

    ЕМНИП, у LSI проще всего смотреть на букву в модели: E - external, I - internal. Также бывают вариации моделей, например, для адаптера выше это LSI 9201-16E.

    Вам также будет полезно определиться достаточно ли вам будет 6 Gbps или нужен контроллер быстрее (и подороже).

    нужно ли для этого собрать новый сервер

    У того же СуперМикро есть модели, где "всё внутри", к такой полке вы сможете подключать другие, посмотрите спеки на русском/английском сайтах.
    Ответ написан
    Комментировать
  • Что лучше: HDD 2.5 или SSD 2.5 для хранения файлов и торрентов?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    Что лучше: HDD 2.5 или SSD 2.5 для хранения файлов и торрентов? ... учитывая, что разница в цене минимальна?

    Вопрос недостаточно однозначен.
    Нужно понимать ваши паттерны использования пространства на диске и то, как часто вы будете обновлять хранящиеся на нём данные.

    Кроме того, вы упоминаете минимальную разницу в цене. Если объём накопителей при этом одинаков, то как бы вы не купили какой-то совсем барахольный ССД.

    А если вы туда накидаете много торрентов, будете их там хранить, лишь изредка удаляя, чтобы скачать что-то ещё, то это будет отличным сценарием катастрофы для дешёвого SSD.
    У него маленький ресурс, и "заездить" маленький остаток пространства, которое вы будете перезаписывать, вполне реально.
    На встроенные алгоритмы "самостоятельного перемешивания данных" я бы не полагался, особенно в дешёвых моделях.
    Ответ написан
  • Альтернатива сдувшемуся гугл фото?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    Как я понимаю, многие американцы смотрят на Amazon Photos. Но у них он вроде как входит в подписку Prime, так что у нас с этим сложнее.

    Если фоток реально много, то можете рассмотреть вариант с покупкой NAS'а. Сейчас их много, разных и умных, можно и загружать туда удалённо и расшаривать.

    Либо покупайте хостинг (через пару недель на чёрную пятницу хорошие скидки будут) и ставьте что-то наподобие Lychee, Piwigo и прочих. Будете сам себе хозяин.
    Ответ написан
    1 комментарий
  • Где хранить статические картинки и видео дешево?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    Вам стоит поискать услугу с названием "high bandwidth VPS", "high traffic VPS" и подобные. Провайдера уже выбирайте сами на основе реальных отзывов о надёжности.

    Также я совершенно точно встречал тарифные планы, где трафик указывается в виде "unlimited 10Mbps", "unlimited 100Mbps" и т.д. Может ещё быть "unilimited Mbps uplink".

    Ну и есть провайдеры, которые просто пишут "Unlimited" в поле "bandwidth", но там наверняка всё-таки есть какая-то fair use policy, т.е. копию Youtube запустить не получится.
    Ответ написан
    Комментировать
  • Какие имеются альтернативы Dropbox для работы на сервере без открытых сеансов?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    запускался внутри сервера без наличия сеансов и предоставлял один каталог для общего доступа с возможностью докачки данных и сохранением их состояния при автономной работе до следующего подключения к интернету

    Если я правильно понял задачу, то вам может подойти Resilio Sync (бывший BitTorrent Sync / BTSync).
    Ответ написан
    Комментировать
  • Где можно хранить бесконечный архив видеонаблюдения?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    Простого варианта у вас не будет.

    Почти наверняка ваш видеорегистратор, как все современные DVR-ы, сохраняет записи в виде проприетарного видео-потока, который закольцован. Т.е. накопитель начинает заполняться по кругу, когда на нём закончится место.

    Соответственно, кому-то (вам?) нужно будет регулярно экспортировать свежие записи в виде файлов и куда-то их перекладывать. Либо смотреть что есть в плане автоматизации на этот счёт, но вряд ли это будет дёшево.
    Такие вещи разрабатывают для серьёзных контор с режимом и тайнами, за сохранение которых спрашивают строго.
    Ответ написан
  • Какой носитель выбрать для хранения фотографий и видео?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    С учётом объёма (видео скорее всего, большие) и типа данных (вряд ли нужен регулярный оперативный доступ), вероятнее всего, имеет смысл купить пару больших жёстких дисков и сделать две копии архива.

    Два диска - с точки зрения большей надёжности. В идеале купить их в разных местах, чтобы были из разных партий и ехали к нам каждый сам по себе.

    С точки зрения производителя диска, я бы взял Hitachi (HGST), либо верхние WD, которые на самом деле HGST (смотрите по фото товара). Ещё вариант - Toshiba (у них тоже есть диски, которые были Hitachi), но некоторые их свои модели изредка могут чудить.
    Ответ написан
  • Объединение двух разделов hdd БЕЗ потери данных - реально?

    Zettabyte
    @Zettabyte
    Проф. восстановление данных ▪ Вопрос? См. профиль
    Мы неоднократно сталкивались с ситуациями потери данных при манипуляциях с разделами диска.

    Понятно, что во многих случаях клиенты могут недоговаривать или до конца не понимать что делали, но я бы в целом посоветовал сначала забэкапиться, потом что-то делать.

    Можете в т.ч. создать образ диска, чтобы в случае чего накатить его обратно и иметь всё, включая систему, в состоянии "в точности, как сейчас".
    Ответ написан
    Комментировать