Prometheus, Grafana, Loki - Observability

• Человеческим языком про метрики 1: Потерянное введение

• Мониторинг не нужен, если он формален и не нацелен на бизнес-результат
• Observability — переход от простого сбора метрик к пониманию влияния ИТ-решений на бизнес-показатели, прогнозированию сбоев и автоматизации реагирования
• Бизнес-метрики - мониторинг не сервисов, а действий пользователя (например, количество успешных подключений)
• Умные оповещения - должны приходить только при реальной угрозе для сервиса а не по каждому незначительному отклонению
• Автоматизация - запуск процедур восстановления параллельно с уведомлениями инженеров

• Настроить учет работы систем, сервисов и сетей предприятия с точки зрения: метрик (Service Level Indicator - SLI), целей команды предприятия (Service Level Objective - SLO) и гарантий для клиентов (Service Level Agreement - SLA)

• Фундаментальные понятия мониторинга
• Показатели качества (SLI/SLO/SLA)
• Технические термины мониторинга
• Основные этапы мониторинга

• Разворачивать стек продуктов Prometheus, Grafana, Loki
• Настраивать сбор метрик в Prometheus с использование exporter
• Автоматизировать поиск и добавлять собственные источники метрик
• Использровать язык запросов PromQL для анализа и визуализации измерений
• Настраивать сбор, фильтрацию и анализ журналов с использованием Loki и языка LogQL
• Использовать готовые и создавать собственные dashboard в Grafana
• Настраивать уведомления в Prometheus Alertmanager с использованием готовых и собственных правил
• использовать ИИ для борьбы с шумом (Alert Fatigue), обнаружения аномалий (Anomaly Detection) и поиска первопричин (RCA) в уведомлениях
• Настраивать маршрутизацию уведомлений с использованием Email и Webhook
• Настраивать уведомления в Grafana

• Prometheus, Grafana, Loki, ИИ. Мониторинг и наблюдаемость IT инфраструктуры предприятия

• Презентация

1. Узнать и записать свой номер стенда: X=
2. Сообщить его в чат преподавателю

• SLA, SLO, SLI простыми словами и с примерами
• Что такое Root Cause Analysis (RCA)

• SLA (Service Level Agreement) и SLO (Service Level Objective)
• Метрики, Логи, Трейсы, Чем отличается мониторинг от наблюдаемости
• Роль каждого компонента (Prometheus, Grafana, Loki) в экосистеме

• Развертывание стенда предприятия

Запустите с правами Administrator

C:\cmder\cmder.exe

bash

cd

test -d conf && rm -rf conf

git clone http://val.bmstu.ru/unix/conf.git

cd conf/virtualbox/

!!! 5p - это номер курса, вместо X укажите Ваш номер стенда, если не знаете его, спросите преподавателя !!!

./setup.sh X 5p

• Установка Сервис Prometheus
• Использование экспортеров, принцип pull-модели
• Пример prometheus-node-exporter для сбора метрик ОС, оценка загрузки CPU, RAM, сети, задержки ввода/вывода
• Язык Запросы PromQL: Изучение типов данных (счетчики, измеряемые величины, гистограммы), операторов и агрегаций
• Пример prometheus-apache-exporter для сбора метрик “штатного” приложения, Нагрузочное тестирование
• Service Discovery

• Web интерфейс к почте Roundcube
• Тестирование Web приложения на shell
• Технология cgroup
• Использование push-модели сбора данных prometheus-pushgateway
• Отправка метрик из приложения (Пример 2)

• Prometheus federation

• Установка Сервис Loki
• Установка и настройка OpenTelemetry Collector для доставки логов приложений и системных журналов
• Язык LogQL, фильтрация и анализ логов (поиск ошибок, парсинг JSON, агрегация статистики по логам)

• Установка Сервис Grafana
• Подключение Prometheus и Loki к Grafana.
• Импорт готовых dashboard в Grafana
• Создание dashboard “Мониторинг сервиса” с метриками приложения, статусами сервисов от которых оно зависит и виджетами последних ошибок из логов
• Типы панелей (Time series, Table, Stat, Logs), настройка внешнего вида и переменных, интерактивные дашборды

• Установка prometheus-alertmanager
• Настройка маршрутизации уведомлений (Email)
• Тестирование alertmanager

• Подключение готовых правил alertmanager
• Подключение Alertmanager к Prometheus
• Стресс тестирование и выявление нагрузки на HDD

• Создание правил alertmanager
• Сервис adnanh/webhook
• Настройка маршрутизации уведомлений (Webhook)
• Тестирование alertmanager

• Управление инцидентами, настройка silence (подавление алертов), агрегация нотификаций
• Настройка уведомлений непосредственно в интерфейсе Grafana (вместе с оценкой пороговых значений, на примере Отправка метрик из приложения)

• Процент и время задержки писем через greylist