@ashosha

В какую сторону двигаться при создании системы отслеживания состояния большого количества устройств (Fault Management)?

Здравствуйте.

Имеется 400'000 устройств, которые шлют суммарно порядка 1'000 a-la syslog сообщений в секунду. В каждом сообщении, помимо прочего, имеется идентификатор устройства, а также "число ошибок". По некоторому алгоритму надо выдать аларм (и показать идентификатор устройства, для которого он сработал), когда число ошибок за определённый период времени превышает настраиваемый порог (будут и другие алгоритмы определения "проблем").

Пока интересует концепция.

Сейчас использую MySQL (с партиционированием по вспомогательным полям) + Python на единственном сервере, но система загибается.
  • Вопрос задан
  • 2466 просмотров
Пригласить эксперта
Ответы на вопрос 2
begemot_sun
@begemot_sun
Программист в душе.
Как минимум держать информацию об устройствах в памяти. Базу использовать только как медленное персистентное хранилище.
Ответ написан
Комментировать
@ashosha Автор вопроса
Стоит ли смотреть в сторону Spark ?
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы