Какую Базу Данных лучше использовать для логирования и построения отчетов?

Лир.отступление: разработкой давно не занимался, ушел в поддержку, не в курсе тенденций и пр., но есть идеи... прошу совет.

есть одна задача (задумка) в проекте:
необходимо писать много логов (записи могут быть разные, зависит от количества "датчиков") по различным источникам. Данные по прошествии какого-то времени, скажем месяц, должны удаляться. Одна группа может содержать (за месяц) от 9к записей (1 источник) до ... условно 90к (10 источников) ,зависит от количества источников в группе, могут появляться, могут "пропадать", таких групп может быть NN (предполагается постоянное увеличение в будущем, на сколько не известно, пусть хотя бы до 500). По полученным данным необходимо строить отчеты, отчеты по группам источников (тип группы источников). На клиенте полученные коллекции пихать в чарты (графики). Выборка в двух видах - за весь период хранения по группе (в график) и текущие показания.
Как то так.

Что для этого лучше использовать: MySQL, PostgreSQl или MongoDB ?
Если MongoDB, какие индексы вообще делать и стоит ли? пока думаю только один expireAfterSeconds

PS: Нужна скорость вставки, выборка будет производится значительно реже чем вставка.
  • Вопрос задан
  • 114 просмотров
Пригласить эксперта
Ответы на вопрос 3
sim3x
@sim3x
Постгрес для всего

В итоге за месяц всего 100М записей

Вставка везде страдает, если скорость диска меньше потока для вставки
Ответ написан
DmitriyEntelis
@DmitriyEntelis
Думаю за деньги
90k записей в месяц? 500 групп. 45 000 000 записей?
Да что угодно, от обычного MySQL, до модного ClickHouse.
Монгу - ну пощупайте, но мне кажется с производительностью там все плохо на самом деле.
Ответ написан
@PapaStifflera
Родился, вырос...
Если нужна аналитика, то смело берите Clickhouse. Проблем с быстрой вставкой нет. 45кк записей ни о чем.
Grafana умеет юзать кликхаус как Data Source и строить красивые графики на основе данных.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через TM ID
Похожие вопросы