@kseon

Как организовать хранение значений ключ-значение в ТБ масштабах?

Пример записи ключ-значение: "aabb-ccdd-12": 123456.
Содержимое: статистические данные.
Количество таких значений будет идти на ТБ.
Важно максимально быстро производить операции чтения.

Остановился на варианте: несколько серверов с redis и центральным сервером (Mysql/Postgree)

Вопросы:
1. Как организовать сохранение таких объемов?
2. Какие технологии для этого лучше подойдут?
  • Вопрос задан
  • 339 просмотров
Пригласить эксперта
Ответы на вопрос 4
@nrgian
Терабайт - это немного.
Любая развитая БД, умеющая ключ-значения. Лучше - специализированная.

Tarantool (на движке vynil, не на memtx), Aerospike (скорее он), BoltDB, LevelDB и пр.
Я бы их протестил и выбрал что лучше под задачу.
Ответ написан
inoise
@inoise
Solutions Architect, AWS Certified, Serverless
Как правило в таких объемах переезжают в облака. В вашем случае очень рекомендую AWS DynamoDB - она как раз для вашего случая
Ответ написан
Jump
@Jump
Системный администратор со стажем.
Начать однозначно стоит с облака, как уже верно посоветовал Иван Шумов
Плюсы - сразу без капитальных затрат вы получаете готовое, работающее решение.
  • Если понравится и все будет устраивать - на нем и остановитесь.
  • Если не понравится - вы за время эксплуатации соберете статистику и будете точно представлять нагрузку. Что позволит закупить необходимое железо, разместить его в ДЦ и плавно переехать уже на свои сервера.

А пока вы точно не представляете нагрузку сложно подбирать технологии и железо.
Ответ написан
@McBernar
Clickhouse же. Если без update и delete.
Ну или любая другая колоночная БД.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы