MaxDukov
@MaxDukov
впишусь в проект как SRE/DevOps.

Почему Logstash теряет начало строки?

Коллеги, прошу помощи.
есть Logstash на AWS.
на входе файлики логами от CloudFront, посреди фильтр
filter {
        if ([message] =~ /^#/) {
            drop{}
        }
        grok {
        type => "cloudfront"
        pattern => "%{DATE_EU:date}\t%{TIME:time}\t%{WORD:x_edge_location}\t(?:%{NUMBER:sc_bytes}|-)\t%{IPORHOST:c_ip}\t%{WORD:cs_method}\t%{HOSTNAME:cs_host}\t%{NOTSPACE:cs_uri_stem}\t%{NUMBER:sc_status}\t%{GREEDYDATA:cs_referrer}\t%{GREEDYDATA:cs_User_Agent}\t%{GREEDYDATA:cs_uri_query}\t%{GREEDYDATA:cs_cookies}\t%{WORD:x_edge_result_type}\t%{NOTSPACE:x_edge_request_id}\t%{HOSTNAME:x_host_header}\t%{URIPROTO:cs_protocol}\t%{INT:cs_bytes}\t%{GREEDYDATA:time_taken}\t%{GREEDYDATA:x_forwarded_for}\t%{GREEDYDATA:ssl_protocol}\t%{GREEDYDATA:ssl_cipher}\t%{GREEDYDATA:x_edge_response_result_type}"
        }
        mutate {
            type => "cloudfront"
            add_field => [ "_timestamp", "%{date} %{time}" ]
        }
        date {
                type => "cloudfront"
                match => [ "_timestamp", "YY-MM-dd HH:mm:ss" ]
                target => "@timestamp"
        }
}

на выходе все это валится в эластик. И вот в среднем 1 из 10 000 строчек читается криво - с середины. Как следствие поля съезжают, При этом внешне строка выглядит вполне нормально.
WTF?
  • Вопрос задан
  • 227 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы