User Tools

Site Tools


prometheus_grafana_loki_-_observability

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
prometheus_grafana_loki_-_observability [2026/05/14 16:13]
val [Модуль 5. Алертинг и обнаружение проблем]
prometheus_grafana_loki_-_observability [2026/10/12 13:06] (current)
val [Модуль 5. Алертинг и обнаружение проблем]
Line 13: Line 13:
  
   * Настроить учет работы систем,​ сервисов и сетей предприятия с точки зрения:​ метрик (Service Level Indicator - SLI), целей команды предприятия (Service Level Objective - SLO) и гарантий для клиентов (Service Level Agreement - SLA)   * Настроить учет работы систем,​ сервисов и сетей предприятия с точки зрения:​ метрик (Service Level Indicator - SLI), целей команды предприятия (Service Level Objective - SLO) и гарантий для клиентов (Service Level Agreement - SLA)
 +
 +===== После окончания обучения слушатель будет знать =====
 +
 +  * Фундаментальные понятия мониторинга ​
 +  * Показатели качества (SLI/​SLO/​SLA)
 +  * Технические термины мониторинга
 +  * Основные этапы мониторинга
 +
 +===== После окончания обучения слушатель будет уметь =====
 +
 +  * Разворачивать стек продуктов Prometheus, Grafana, Loki
 +  * Настраивать сбор метрик в Prometheus с использование exporter
 +  * Автоматизировать поиск и добавлять собственные источники метрик
 +  * Использровать язык запросов PromQL для анализа и визуализации измерений
 +  * Настраивать сбор, фильтрацию и анализ журналов с использованием Loki и языка LogQL
 +  * Использовать готовые и создавать собственные dashboard в Grafana
 +  * Настраивать уведомления в Prometheus Alertmanager с использованием готовых и собственных правил
 +  * использовать ИИ для борьбы с шумом (Alert Fatigue), обнаружения аномалий (Anomaly Detection) и поиска первопричин (RCA) в уведомлениях
 +  * Настраивать маршрутизацию уведомлений с использованием Email и Webhook
 +  * Настраивать уведомления в Grafana
 +
 +===== Программа курса =====
 +
 +  * [[https://​www.specialist.ru/​course/​yun5prom|Prometheus,​ Grafana, Loki, ИИ. Мониторинг и наблюдаемость IT инфраструктуры предприятия]]
 +
 +===== Ссылка на презентацию =====
 +
 +  * [[https://​docs.google.com/​presentation/​d/​e/​2PACX-1vTWuBUuTEKhgEMbj_R7c_wGvSwPDIH1yBZxXgJVW6f5PPcy6AahWRTPHnzwrW4P8Q/​pub|Презентация]]
 +===== Модуль 0. Подготовка к занятию =====
 +
 +  - Узнать и записать свой номер стенда:​ X=
 +  - Сообщить его в чат преподавателю
 +
  
 ===== Модуль 1. Основы наблюдаемости и архитектура стека ===== ===== Модуль 1. Основы наблюдаемости и архитектура стека =====
Line 19: Line 52:
  
   * [[https://​habr.com/​ru/​articles/​956318/​|SLA,​ SLO, SLI простыми словами и с примерами]]   * [[https://​habr.com/​ru/​articles/​956318/​|SLA,​ SLO, SLI простыми словами и с примерами]]
 +  * [[https://​simpleone.ru/​glossary/​root-cause-analysis-rca|Что такое Root Cause Analysis (RCA)]]
  
   * SLA (Service Level Agreement) и SLO (Service Level Objective)   * SLA (Service Level Agreement) и SLO (Service Level Objective)
Line 24: Line 58:
   * Роль каждого компонента (Prometheus,​ Grafana, Loki) в экосистеме   * Роль каждого компонента (Prometheus,​ Grafana, Loki) в экосистеме
  
 +==== Практика ====
 +
 +  * Развертывание стенда предприятия
 +
 +<​code>​
 +Запустите с правами Administrator
 +
 +C:​\cmder\cmder.exe
 +
 +bash
 +
 +cd
 +
 +test -d conf && rm -rf conf
 +
 +git clone http://​val.bmstu.ru/​unix/​conf.git
 +
 +cd conf/​virtualbox/​
 +
 +!!! 5p - это номер курса, вместо X укажите Ваш номер стенда,​ если не знаете его, спросите преподавателя !!!
 +
 +./setup.sh X 5p
 +</​code>​
  
 ===== Модуль 2. Сбор и анализ метрик с Prometheus ===== ===== Модуль 2. Сбор и анализ метрик с Prometheus =====
Line 33: Line 90:
   * Пример [[Сервис Prometheus#​prometheus-apache-exporter]] для сбора метрик "​штатного"​ приложения,​ [[Сервис HTTP#​Нагрузочное тестирование]]   * Пример [[Сервис Prometheus#​prometheus-apache-exporter]] для сбора метрик "​штатного"​ приложения,​ [[Сервис HTTP#​Нагрузочное тестирование]]
   * Service Discovery   * Service Discovery
-  ​* Использование push-модели [[Сервис Prometheus#​prometheus-pushgateway]] ​и [[Сервис Prometheus#​Отправка метрик из приложения]]+ 
 +  * Web интерфейс к почте [[Web интерфейс к почте#​Roundcube]] 
 +  * [[Средства программирования shell#​Тестирование Web приложения на shell]] 
 +  * [[Технология cgroup]] 
 +  ​* Использование push-модели ​сбора данных ​[[Сервис Prometheus#​prometheus-pushgateway]] 
 +  * [[Сервис Prometheus#​Отправка метрик из приложения]] ​(Пример 2) 
 + 
 +  * Prometheus federation
  
 ===== Модуль 3. Централизация логов с Loki ===== ===== Модуль 3. Централизация логов с Loki =====
  
-  * Установка Loki +  * Установка ​[[Сервис ​Loki]] 
-  * Установка и настройка ​Promtail ​для доставки логов приложений и системных журналов+  * Установка и настройка ​[[Сервис OpenTelemetry#​OpenTelemetry Collector]] ​для доставки логов приложений и системных журналов
   * Язык LogQL, фильтрация и анализ логов (поиск ошибок,​ парсинг JSON, агрегация статистики по логам)   * Язык LogQL, фильтрация и анализ логов (поиск ошибок,​ парсинг JSON, агрегация статистики по логам)
  
Line 52: Line 116:
  
   * Установка [[Сервис Prometheus#​prometheus-alertmanager]] ​   * Установка [[Сервис Prometheus#​prometheus-alertmanager]] ​
-  * [[Сервис Prometheus#​Настройка маршрутизации уведомлений]] (Email, Webhook) и [[Сервис Prometheus#​Тестирование alertmanager]]+  * [[Сервис Prometheus#​Настройка маршрутизации уведомлений]] (Email) 
 +  * [[Сервис Prometheus#​Тестирование alertmanager]] 
   * [[Сервис Prometheus#​Подключение готовых правил alertmanager]]   * [[Сервис Prometheus#​Подключение готовых правил alertmanager]]
   * [[Сервис Prometheus#​Подключение Alertmanager к Prometheus]]   * [[Сервис Prometheus#​Подключение Alertmanager к Prometheus]]
-  * [[Сервис Prometheus#​Создание правил alertmanager]] ​(например, "сервис ​не отвечает", "много 500-х ошибок"​)+  ​* [[Анализ производительности системы#​Стресс тестирование и выявление нагрузки на HDD]] 
 + 
 +  ​* [[Сервис Prometheus#​Создание правил alertmanager]] 
 +  * [[Сервис adnanh/​webhook]] 
 +  * [[Сервис ​Prometheus#​Настройка маршрутизации уведомлений]] (Webhook) 
 +  * [[Сервис Prometheus#​Тестирование alertmanager]] 
   * Управление инцидентами,​ настройка silence (подавление алертов),​ агрегация нотификаций   * Управление инцидентами,​ настройка silence (подавление алертов),​ агрегация нотификаций
-  * [[Сервис Grafana#​Настройка уведомлений]] непосредственно в интерфейсе Grafana ​для ​оценки пороговых значений,​ на примере [[Сервис Prometheus#​Отправка метрик из приложения]]+  * [[Сервис Grafana#​Настройка уведомлений]] непосредственно в интерфейсе Grafana ​(вместе с оценкой пороговых значений,​ на примере [[Сервис Prometheus#​Отправка метрик из приложения]])
  
 ===== Идеи для курса ===== ===== Идеи для курса =====
prometheus_grafana_loki_-_observability.1778764380.txt.gz · Last modified: 2026/05/14 16:13 by val