@Siegurd

На чем построить систему записи, хранения и удобного анализа данных с датчиков?

Здравствуйте!
Есть система телеметрии объекта, которая отсылает на сервер данные по TCP-IP по GPRS. Данные с датчиков (давления, температуры, реле и тд.) поступают несколько раз в секунду. Это нужно для создания математической модели объекта. На сегодняшний день все данные сервером записываться в Excel файл. И каждые сутки создается новый Excel файл с названием текущей даты, чтоб хоть как-то различать логи хотя бы по дням. Суточный лог в Excel весит 300 мегабайт (9 ГБ в месяц). Задача проанализировать показатели за месяц/неделю превращается в ад, так-как нужно перелопатить 30 таблиц (в каждой по 250 т. строк), что невозможно сделать оперативно, да и RAM в 16 ГБ едва хватает. Хочется найти какую-то единую архитектуру, желательно Open source для Windows, в которую все эти данные можно быстро записывать (несколько раз в секунду по 100 значений разных датчиков), и потом удобно их просматривать, анализировать и возможно делать отчеты. Самым удобным был бы вариант, при котором запись в базу данных можно было осуществлять с Matlab, а анализ уже в среде ПО которое предназначено для этого.
Если обобщить - нужен аналог ThingSpeak в качестве ПО для Windows только без ограничений на скорость и количество записей.
  • Вопрос задан
  • 160 просмотров
Пригласить эксперта
Ответы на вопрос 2
gobananas
@gobananas
botbot.ru
Именно на Windows? А так берёте БД clickhouse, пишете в неё данные любым демоном, потом запросами выбираете нужные данные и всё
Ответ написан
2ord
@2ord
продвинутый чайник
InfluxDB, Prometheus с их БД временных серий и визуальный интерфейс Grafana. Написать обертку для интеграции с ними.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы