Система сбора логов

Назначение

Система предназначена для централизованного сбора, хранения и анализа логов (сообщений событийных журналов), полученных от информационной инфраструктуры заказчика, а также предоставляет гибкий инструментарий для визуализации накопленных данных.

Преимущества

  • Обеспечивает массовый и непрерывный сбор логов и метрик со множества разных источников данных (сетевое и серверное оборудования, СУБД, файлы, системные логи, веб-приложения и пр.)
  • Возможность преобразования получаемых данных в удобный для работы формат «на лету»
  • Позволяет настраивать политики хранения собранных данных, включая автоматическое удаление устаревших данных
  • Предоставляет возможность быстро выполнять полнотекстовый поиск интересующих событий и метрик в режиме реального времени
  • Развитый функционал визуализации и анализа: собранные данные представляются в удобном для восприятия виде
  • Стабильное и отказоустойчивое решение — при сбое кластерных узлов данные не теряются, а перераспределяются

Основные функции

  • Централизованный сбор логов из различных источников
  • Первичная предобработка полученных данных в соответствии с настроенными шаблонами
  • Распределение данных по узлам кластера для повышения отказоустойчивости и производительности системы
  • Быстрый поиск интересующей информации по заданным критериям
  • Гибкая настройка фильтров отображения списка событий
  • Визуализация: построение интерактивных графиков и диаграмм на основе собранных данных

Интерфейс системы

Технологии разработки

Elastic Stack: Elasticsearch, Logstash, и Kibana; OpenSearch; Syslog-ng

Презентация системы