Стек ELK (Logstash, Elasticsearch и Kibana) с одновременным удаленным сервером системного журнала?

Я создаю сервис анализа журналов, чтобы начать мониторинг в основном наших межсетевых экранов pfSense, гипервизоров XenServer, серверов FreeBSD / Linux и серверов Windows.

В интернете много документации о стеке ELK и о том, как заставить его работать. Но я хотел бы использовать его по-другому, но я не знаю, является ли это хорошим решением или просто трата времени / дискового пространства.

У меня уже есть машина FreeBSD 10.2, выступающая в роли удаленного сервера системного журнала, и моя идея заключается в том, чтобы просто сконцентрировать все журналы на этом компьютере, а затем сервер системного журнала переадресует журналы logstash-forwarderна сервер ELK.

Мне ясно, что этот подход повысит требования к диску для этой установки, но, с другой стороны, у меня будет только одна машина с logstash-forwarderустановленным демоном, что мне кажется хорошим.

Но говорить о проблемах. В logstashпарсер матчи [host]с хоста сервера отправки сообщений журнала, и в этом подходе есть только на «сервере» показать на ELK, на удаленном сервере системного журнала.

Я знаю, что могу настроить параметры в logstashфайлах конфигурации, но я не знаю (и у меня нет опыта, чтобы знать), является ли это простой настройкой парсеров, если это скомпрометирует весь ELK опыт.

В конце я просто хочу получить несколько советов о моей архитектуре логирования и о том, сработает ли она, или же мне не нужно выбирать другие варианты.

Заранее спасибо,

— Винициус Ферран
источник

Я уверен, что то, что вы хотите сделать, возможно, но подробности о том, в каком формате вы регистрируетесь на центральном сервере системного журнала, скорости ведения журнала и т. Д., Были бы отличными. Кроме того, если задать конкретный вопрос, вы получите гораздо лучшие ответы, чем просто сказать: «Я заблудился, пожалуйста, помогите».

— Грегл

Вы рассматривали серый журнал? Вы можете использовать входные данные системного журнала graylog, чтобы включить системный журнал в эластичный поиск. Оттуда вы можете использовать Kibana и Graylog имеет экстрактор syslog / pfsense.

— Дэйви

Logstash также имеет вход системного

— журнала

Да. Можно изменить hostполе в выводе logstash с rubyфильтром без особых хлопот.

    ruby {
            code => "
                    event['host'] = event['message'].split(' ')[3]
                   "
    }

Здесь я предположил в журналах сервера системного журнала, поле хоста является четвертым полем, где пробел является разделителем.

— 7171u
источник