Tag: logstash

Как удалить символы подчеркивания в именах полей с помощью logstash?

Я думаю об использовании фильтра mutate и опции rename , но я не знаю о соответствующем регулярном выражении, чтобы добиться этого: filter { mutate { rename => { “any_field_with_underscore” => “anyfieldwithunderscore” # i don’t know how to write regex for this … } } } Может ли кто-нибудь помочь?

Как получить уникальный счетчик поля с помощью Kibana + Elastic Search

Можно ли запрашивать отдельный / уникальный счет поля с помощью Kibana? Я использую эластичный поиск в качестве моего бэкэнда для Кибаны. Если да, то каков синтаксис запроса? Вот ссылка на интерфейс Kibana. Я хотел бы сделать мой запрос: http://demo.kibana.org/#/dashboard Я разбираю журналы доступа nginx с помощью logstash и сохраняю данные в режиме поиска. Затем я […]

Logstash: как добавить имя файла в качестве поля?

Я использую Logstash + Elasticsearch + Kibana, чтобы получить обзор моих файлов журнала Tomcat. Для каждой записи в журнале мне нужно знать имя файла, из которого он пришел. Я хотел бы добавить его в качестве поля. Есть ли способ сделать это? Я немного искал Google, и я только нашел этот вопрос , но ответ больше […]

Расчет времени между событиями

У меня есть сообщение, которое проходит через несколько систем, каждая система регистрирует запись сообщения и выдает с меткой времени и uuid messageId. Я глотаю все журналы: filebeat –> logstash –> elastic search –> kibana В результате у меня теперь есть следующие события: @timestamp messageId event May 19th 2016, 02:55:29.003 00e02f2f-32d5-9509-870a-f80e54dc8775 system1Enter May 19th 2016, 02:55:29.200 […]

Изменение отображения по умолчанию для строки «не анализировано» в Elasticsearch

В моей системе вставка данных всегда выполняется через файлы csv через logstash. Я никогда не предопределял отображение. Но всякий раз, когда я ввожу строку, ее всегда analyzed , в результате запись, подобная hello I am Sinha , раскололась на hello , I , am , Sinha . В любом случае я могу изменить стандартное / […]

Как заставить Logstash повторно просмотреть файл?

Я установил Logstash для анализа файлов Apache. Мне потребовалось совсем немного, чтобы правильно настроить настройки, и я всегда старался использовать реальные журналы. Я заметил (как говорится в документации), что logstash «запоминает», где он был в файле. Теперь мои настройки ОК, и я бы хотел, чтобы Logstash «забыл». Это кажется сложнее, чем я. Я уже сделал […]

Давайте будем гением компьютера.