Prometheus, Grafana, Loki - Observability

Мониторинг не нужен, если он формален и не нацелен на бизнес-результат
Observability — переход от простого сбора метрик к пониманию влияния ИТ-решений на бизнес-показатели, прогнозированию сбоев и автоматизации реагирования
Бизнес-метрики - мониторинг не сервисов, а действий пользователя (например, количество успешных подключений)
Умные оповещения - должны приходить только при реальной угрозе для сервиса а не по каждому незначительному отклонению
Автоматизация - запуск процедур восстановления параллельно с уведомлениями инженеров

Техническое задание

Настроить учет работы систем, сервисов и сетей предприятия с точки зрения: метрик (Service Level Indicator - SLI), целей команды предприятия (Service Level Objective - SLO) и гарантий для клиентов (Service Level Agreement - SLA)

Разворачивать стек продуктов Prometheus, Grafana, Loki
Настраивать сбор метрик в Prometheus с использование exporter
Автоматизировать поиск и добавлять собственные источники метрик
Использровать язык запросов PromQL для анализа и визуализации измерений
Настраивать сбор, фильтрацию и анализ журналов с использованием Loki и языка LogQL
Использовать готовые и создавать собственные dashboard в Grafana
Настраивать уведомления в Prometheus Alertmanager с использованием готовых и собственных правил
Настраивать маршрутизацию уведомлений с использованием Email и Webhook
Настраивать уведомления в Grafana

Установка Сервис Prometheus
Использование экспортеров, принцип pull-модели
Пример prometheus-node-exporter для сбора метрик ОС, оценка загрузки CPU, RAM, сети, задержки ввода/вывода
Язык Запросы PromQL: Изучение типов данных (счетчики, измеряемые величины, гистограммы), операторов и агрегаций
Пример prometheus-apache-exporter для сбора метрик “штатного” приложения, Нагрузочное тестирование
Service Discovery
Использование push-модели prometheus-pushgateway и Отправка метрик из приложения
prometheus federation

Установка Loki
Установка и настройка Promtail для доставки логов приложений и системных журналов
Язык LogQL, фильтрация и анализ логов (поиск ошибок, парсинг JSON, агрегация статистики по логам)

Установка Сервис Grafana
Подключение Prometheus и Loki к Grafana.
Импорт готовых dashboard в Grafana
Создание dashboard “Мониторинг сервиса” с метриками приложения, статусами сервисов от которых оно зависит и виджетами последних ошибок из логов
Типы панелей (Time series, Table, Stat, Logs), настройка внешнего вида и переменных, интерактивные дашборды