Чем собирать информацию из логов?

Доброй ночи! Вынужден снова обратиться к Тостеровчанам!
В свое время имея в распоряжении небольшой парк Linux серверов, я всегда обходился средствами мониторинга, такими как munin, monit. И всегда было ощущение, что какие то мелочи по мониторингу я могу упустить из виду. Пробовал Zabbix, но не понравилось. Это было в далекие 2009-2013. Сейчас вновь пришлось столкнуться с Linux, но масштабы уже серьезнее и количество серверов приближается к 40. Попробовал Docker, и понравилось. Но хочется конечно узнавать о проблемах первым, мониторить нагрузку и просто банально понимать, что конкретно происходит в системев разное время. Попробую сформулировать то, что хотелось бы решать:

Мгновенный анализ логов веб сервисов на наличие ошибок 50X, время обработки скриптов, кол-во запросов в секунду
Анализ syslog, messages, auth, mysql, postfix.log postfix.err dovecot на ошибки и прочие интересные события, такие как количество подключений/сообщений в единицу времени

Знаю что существуют коллекторы по централизованному сбору статистики, но немного отстал от темы и не знаю с чего лучше начать, что-бы не тратить время зря.
Слышал про greylog, metalog, syslog-ng и прочее, но ничего не трогал еще. Cобрать не проблема, да и красота не нужна, главное информативность, простота и стабильность, чтобы анализатор сильно не жрал ресурсы и имел возможность несложной доработки напильником. Дистрибутивы sourcebased. На основной массе трудится metalog.

Как подобные вопросы централизованного анализа, мониторинга и оповещения посоветуете решать? Как решали их вы?
  • Вопрос задан
  • 1549 просмотров
Пригласить эксперта
Ответы на вопрос 4
mbeloshitsky
@mbeloshitsky
Вебдев, систем оперейшонс, ж.д. автоматика
По слухам сейчас используют связку elasticsearch + logstash + kibana, но сам не пробовал и еще непонятно, кто у них там алерты формирует.
Ответ написан
@MechanID
Админ хостинг провайдера
разные инструменты для разных задач
1 тригеррный реалтайм мониторинг, тут мы смотрим что происходит прямо сейчас - nagios
2 много графиков чтобы посмотреть данные за вчера, неделю назад год назал - zabbix
3 агрегатор логов - каконибуть комбайн типа fluentd или graylog
Ответ написан
@rasergiy
С тригерами и заббикс справляется на ура, чем nagios лучше? Я использую заббикс для графиков и тригеров. Логи от железа и серверов собираются на syslog-ng сервере, по каждой железке отдельно с уровнем DEBUG, плюс общий лог с уровнем ERROR. О проблемах в рилтайме сигналит заббикс, каждый день по почте рассылается общий ERROR лог, для проверки. Парк отслеживаемых устройств небольшой, несколько HP Proliant серверов, дисковые массивы, несколько ciscoвских маршрутизаторов и около 30 свитчей
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы