@nurzhannogerbek

Как обновить данные в index через Logstash?

Здравствуйте, товарищи! Помогите пожалуйста разобраться.

В базе данных PostgreSQL 10 есть таблица. Плюс-минус семь тысяч записей льются туда каждый час.

На основе этой таблицы я создал index в Elasticsearch c помощью скрипта на Logstash. Выглядит он подобным образом:
input {
    jdbc {
        jdbc_connection_string => "jdbc:postgresql://@host:@port/@database"
        jdbc_user => "@username"
        jdbc_password => "@password"
        jdbc_driver_library => "C:\postgresql-42.2.5.jar"
        jdbc_driver_class => "org.postgresql.Driver"
        statement => "SELECT * from table_name"
    }
}
output {
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "table_name"
    }
}


Вопросы:
  1. Как обновить существующий index новыми данными, которые поступают в таблицу?
  2. Какое максимальное количество данных может хранить в себе index? Возможно ли переполнение?
  • Вопрос задан
  • 112 просмотров
Пригласить эксперта
Ответы на вопрос 1
chupasaurus
@chupasaurus
Сею рефлекторное, злое, временное
  1. Либо колхозить в таблице столбец Exported_to_ES, либо пусть приложение начнёт лить данные ещё и в Elasticsearch.
  2. 2^32 документов на шард индекса.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы