helldweller
@helldweller
PornOps

Как организовать сбор логов на хайлоаде?

Попробовали такую схему:
app->rsyslog->filebeat---[tls network]--->logstash->graylog->elasticsearch
Нагрузка примерно до 50млн сообщений в день. Logstash загнулся.

Думаю сделать так, что бы kibana и graylog ничего не писали в еластик в идеале, а только визуализировали данные.
Есть ли смысл локально завести на хостах logstash и писать в него напрямую из rsyslog через json темплейт. А уже logstash'ы бы складывали все в elastic? (на подобие такого подхода)
Хотел бы услышать мнения профессионалов, как вы у себя ведете логирование?
  • Вопрос задан
  • 2326 просмотров
Пригласить эксперта
Ответы на вопрос 2
dimonchik2013
@dimonchik2013
...нечеловечески он пел, нечеловечески танцуя...
экспериментируйте
аггрегируйте
Clickhouse в помощь, Sphinxsearch в помощь ( впрочем, после кликхауса с его %find% уже не сильно), ГуглБигДата в помощь
потери в сети, конечно, есть: утешение - сэмплирование в помощь, или выборочное логирование
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы