Как собирать логи из Docker контейнеров снаружи этих самих контейнеров?

Question

Иван Филатов @NYMEZIDE

резюме - ivanfilatov.ru

Как собирать логи из Docker контейнеров снаружи этих самих контейнеров?

Имеются микросервисы, описанные в docker-compose
Каждый умеет писать логи в File, Console, ...
Хочется централизованного сбора логов. Допустим тот же ELK (ElasticSearch, LogStash, Kibana)

Если настроить конфигурацию логирования каждого микросервиса на логирование сразу в Elastic или LogStash - тот тут проблем нет, но хочется избиваться от конфигурирования и жесткой привязки в конкретному контейнеру для сбора логов.

Хочется такую схему:

Чтобы снимать логи из файлов, которые прописаны как docker volume, или из stdout забирать их как-то, и отправлять затем в тот же LogStash или Elastic. Забирать логи снаружи контейнера, а не внутри!

Как можно это сделать? Есть ли в самом docker механизм шаринга файлов логов между контейнерами или может чтение консоли, потому что тот же Kitematic показывает у себя логи из консоли без проблем, значит наружу ее вытащить реально.

Может кто поделиться рабочим docker-compose.yml файликом, кто уже делал подобную схему?

Вопрос задан более трёх лет назад
11588 просмотров

1 комментарий

Подписаться 4 Простой 1 комментарий

Решения вопроса 2

5 комментариев

Иван Филатов @NYMEZIDE Автор вопроса

пробовал Filebeat, но он работал отдельный Filebeat внутри каждого микросервиса. Тогда он видел файловые логи.
Снаружи он не видит их.

Может подскажите конфигурацию чтобы он заработал?

Написано более трёх лет назад

Kek420 @Kek420

docker-compose.yml:

[...]
filebeat:
    container_name: filebeat
    image: docker.elastic.co/beats/filebeat:latest
    volumes:
      - filebeat:/usr/share/filebeat/data
      - ./filebeat.yml:/usr/share/filebeat/filebeat.yml
      - /var/run/docker.sock:/var/run/docker.sock
      - /var/lib/docker/containers/:/var/lib/docker/containers/:ro
      - /var/log/:/var/log/:ro
[...]

filebeat.yml:

filebeat.autodiscover:
# Autodiscover docker containers and parse logs
  providers:
    - type: docker
      templates:
          config:
            - type: docker
              containers.ids:
                - "${data.docker.container.id}"

filebeat.inputs:
- type: docker
  enabled: true
  containers.ids:
    - "*"
  paths:
    - /var/lib/docker/containers/${data.docker.container.id}/*.log
  exclude_lines: ["^\\s+[\\-`('.|_]"]  # drop asciiart lines
  multiline.pattern: "^\t|^[[:space:]]+(at|...)|^Caused by:"
  multiline.match: after
  processors:
    - add_docker_metadata: ~
    - add_cloud_metadata: ~
    - add_locale: ~

name: "your-app"

tags: ["your-app", "filebeat"]

fields:
  env: prod

output.elasticsearch:
  hosts: ["elasticsearch.example.net:9200"]

Написано более трёх лет назад

scor2k @scor2k

Согласен с решением выше, только filebeat проще запустить на хосте, это будет более удобное решение в плане масштабирования, как мне кажется. Ну и логи, хорошо бы, писать в json сразу с разделением приложений по конкретному тегу.

Написано более трёх лет назад
Иван Филатов @NYMEZIDE Автор вопроса

Kek420, filebeat получилось запустить, отлично работает. Но хотелось UDP + gzip функциональность.
Поэтому выбрал logspout.

Но filebeat имеет мечто быть!

Написано более трёх лет назад
alexq2 @alexq2

Автор привет! Можешь подробнее схему расписать как у тебя получилось? Filebeat у тебя в контейнере? Если не сложно можешь куда-нибудь выложить компос файл и конфиг?

Написано более трёх лет назад

2 комментария

Пригласить эксперта

Ответы на вопрос 1

Комментировать

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Docker

+1 ещё

Сложный
В Nuxt 3 useFetch() вызывает ошибку Vue Router в Docker?
- 1 подписчик
- 18 часов назад
- 22 просмотра
0

ответов
Docker

Средний
Как получить удалённый доступ к http контейнеру?
- 1 подписчик
- вчера
- 67 просмотров
3

ответа
Java

+3 ещё

Средний
Пытаюсь подключиться к postgresql 16 через docker-compose, использую spring-boot 3.2.4, что не так?
- 1 подписчик
- вчера
- 126 просмотров
3

ответа
Docker

+1 ещё

Простой
Как замаскировать переменную внутри контейнера?
- 1 подписчик
- вчера
- 82 просмотра
2

ответа
Docker

+2 ещё

Простой
Как подружить Zabbix-agent 2 и zabbix-server?
- 1 подписчик
- вчера
- 83 просмотра
3

ответа
PostgreSQL

+2 ещё

Простой
Где искать рекомендуемые настройки SSL-аутентификации для Docker-образа Posgres?
- 1 подписчик
- 17 апр.
- 53 просмотра
3

ответа
MySQL

+1 ещё

Средний
Как скрестить ElasticSearch и MySQL?
- 3 подписчика
- 15 апр.
- 682 просмотра
2

ответа
Yii

+1 ещё

Средний
Почему открывается папка (директория) вместо страницы docker yii2?
- 1 подписчик
- 12 апр.
- 67 просмотров
1

ответ
Python

+2 ещё

Простой
Docker-compose не видит статические файлы Джанго, как исправить?
- 1 подписчик
- 11 апр.
- 139 просмотров
0

ответов
Docker

+1 ещё

Сложный
Установил MailCow, почему выдает ошибку сертификации, кто сталкивался?
- 1 подписчик
- 10 апр.
- 69 просмотров
0

ответов
Показать ещё Загружается…

Senior Backend разработчик (PHP 8, Symfony 6, PostgreSQL)

TextMagic

от 5 000 $

Разработчик на Vue.js

Checkngo

от 60 000 до 140 000 ₽

DevOps/Backend разработчик

Idea Platform

от 90 000 до 200 000 ₽

Доработать телеграм бота

19 апр. 2024, в 03:52

1000 руб./за проект

Написать код на python

19 апр. 2024, в 03:01

1000 руб./за проект

Настройка сервера

18 апр. 2024, в 21:56

2000 руб./за проект

А как по твоему docker logs работает, когда контейнер упал? https://docs.docker.com/config/containers/logging/...

Answer 1 · 2019-02-07 07:41:28

Можно добавить в ваш docker-compose контейнер с Filebeat, например. И с помощью него перенаправлять все логи в ELK

Answer 2 · 2019-02-14 15:34:06

Андрей Богоявленский @abogoyavlensky

Python Developer

Можно использовать logspout.

Ответ написан более трёх лет назад

2 комментария

Answer 3 · 2019-08-07 09:25:11

У Docker есть прекрасная возможноть логировать сообщения и отправлять с помощью различных двайверов.
https://docs.docker.com/config/containers/logging/...
Один из них, который работает прекрастно с Logstash, это gelf
Пример запуска
docker run -d \
-p 80:80 \
--name nginx-logs \
--log-driver=gelf \
--log-opt gelf-address=udp://ELK-host:12201 \
--log-opt tag=site.com.ua \
nginx

Если это docker-compose, тогда так:

services:
  nginx:
    image: nginx
    hostname: nginx-log
    logging:
       driver: gelf
       options:
         gelf-address: "udp://ELK-host:12201"
         tag: "site.com.ua"

В свою очередь, конфиг Logstash для директивы input такой

input {
  beats {
    port => 5044
  }
  gelf {
    port => 12201
    type => gelf
  }
}

Единстенное, сейчас ищу как эти контейнеры с помощью Logstash разделить в Kibana с помощью тегов, когда их много. Ищу синтаксис конструкции для директивы output.

Как собирать логи из Docker контейнеров снаружи этих самих контейнеров?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт