User Tools
prometheus_grafana_loki_-_observability
Differences
This shows you the differences between two versions of the page.
| Both sides previous revision Previous revision Next revision | Previous revision | ||
|
prometheus_grafana_loki_-_observability [2026/05/15 11:14] val |
prometheus_grafana_loki_-_observability [2026/10/12 13:06] (current) val [Модуль 5. Алертинг и обнаружение проблем] |
||
|---|---|---|---|
| Line 30: | Line 30: | ||
| * Использовать готовые и создавать собственные dashboard в Grafana | * Использовать готовые и создавать собственные dashboard в Grafana | ||
| * Настраивать уведомления в Prometheus Alertmanager с использованием готовых и собственных правил | * Настраивать уведомления в Prometheus Alertmanager с использованием готовых и собственных правил | ||
| + | * использовать ИИ для борьбы с шумом (Alert Fatigue), обнаружения аномалий (Anomaly Detection) и поиска первопричин (RCA) в уведомлениях | ||
| * Настраивать маршрутизацию уведомлений с использованием Email и Webhook | * Настраивать маршрутизацию уведомлений с использованием Email и Webhook | ||
| * Настраивать уведомления в Grafana | * Настраивать уведомления в Grafana | ||
| + | |||
| + | ===== Программа курса ===== | ||
| + | |||
| + | * [[https://www.specialist.ru/course/yun5prom|Prometheus, Grafana, Loki, ИИ. Мониторинг и наблюдаемость IT инфраструктуры предприятия]] | ||
| + | |||
| + | ===== Ссылка на презентацию ===== | ||
| + | |||
| + | * [[https://docs.google.com/presentation/d/e/2PACX-1vTWuBUuTEKhgEMbj_R7c_wGvSwPDIH1yBZxXgJVW6f5PPcy6AahWRTPHnzwrW4P8Q/pub|Презентация]] | ||
| + | ===== Модуль 0. Подготовка к занятию ===== | ||
| + | |||
| + | - Узнать и записать свой номер стенда: X= | ||
| + | - Сообщить его в чат преподавателю | ||
| + | |||
| ===== Модуль 1. Основы наблюдаемости и архитектура стека ===== | ===== Модуль 1. Основы наблюдаемости и архитектура стека ===== | ||
| Line 38: | Line 52: | ||
| * [[https://habr.com/ru/articles/956318/|SLA, SLO, SLI простыми словами и с примерами]] | * [[https://habr.com/ru/articles/956318/|SLA, SLO, SLI простыми словами и с примерами]] | ||
| + | * [[https://simpleone.ru/glossary/root-cause-analysis-rca|Что такое Root Cause Analysis (RCA)]] | ||
| * SLA (Service Level Agreement) и SLO (Service Level Objective) | * SLA (Service Level Agreement) и SLO (Service Level Objective) | ||
| Line 43: | Line 58: | ||
| * Роль каждого компонента (Prometheus, Grafana, Loki) в экосистеме | * Роль каждого компонента (Prometheus, Grafana, Loki) в экосистеме | ||
| + | ==== Практика ==== | ||
| + | |||
| + | * Развертывание стенда предприятия | ||
| + | |||
| + | <code> | ||
| + | Запустите с правами Administrator | ||
| + | |||
| + | C:\cmder\cmder.exe | ||
| + | |||
| + | bash | ||
| + | |||
| + | cd | ||
| + | |||
| + | test -d conf && rm -rf conf | ||
| + | |||
| + | git clone http://val.bmstu.ru/unix/conf.git | ||
| + | |||
| + | cd conf/virtualbox/ | ||
| + | |||
| + | !!! 5p - это номер курса, вместо X укажите Ваш номер стенда, если не знаете его, спросите преподавателя !!! | ||
| + | |||
| + | ./setup.sh X 5p | ||
| + | </code> | ||
| ===== Модуль 2. Сбор и анализ метрик с Prometheus ===== | ===== Модуль 2. Сбор и анализ метрик с Prometheus ===== | ||
| Line 52: | Line 90: | ||
| * Пример [[Сервис Prometheus#prometheus-apache-exporter]] для сбора метрик "штатного" приложения, [[Сервис HTTP#Нагрузочное тестирование]] | * Пример [[Сервис Prometheus#prometheus-apache-exporter]] для сбора метрик "штатного" приложения, [[Сервис HTTP#Нагрузочное тестирование]] | ||
| * Service Discovery | * Service Discovery | ||
| - | * Использование push-модели [[Сервис Prometheus#prometheus-pushgateway]] и [[Сервис Prometheus#Отправка метрик из приложения]] | + | |
| + | * Web интерфейс к почте [[Web интерфейс к почте#Roundcube]] | ||
| + | * [[Средства программирования shell#Тестирование Web приложения на shell]] | ||
| + | * [[Технология cgroup]] | ||
| + | * Использование push-модели сбора данных [[Сервис Prometheus#prometheus-pushgateway]] | ||
| + | * [[Сервис Prometheus#Отправка метрик из приложения]] (Пример 2) | ||
| + | |||
| + | * Prometheus federation | ||
| ===== Модуль 3. Централизация логов с Loki ===== | ===== Модуль 3. Централизация логов с Loki ===== | ||
| - | * Установка Loki | + | * Установка [[Сервис Loki]] |
| - | * Установка и настройка Promtail для доставки логов приложений и системных журналов | + | * Установка и настройка [[Сервис OpenTelemetry#OpenTelemetry Collector]] для доставки логов приложений и системных журналов |
| * Язык LogQL, фильтрация и анализ логов (поиск ошибок, парсинг JSON, агрегация статистики по логам) | * Язык LogQL, фильтрация и анализ логов (поиск ошибок, парсинг JSON, агрегация статистики по логам) | ||
| Line 71: | Line 116: | ||
| * Установка [[Сервис Prometheus#prometheus-alertmanager]] | * Установка [[Сервис Prometheus#prometheus-alertmanager]] | ||
| - | * [[Сервис Prometheus#Настройка маршрутизации уведомлений]] (Email, Webhook) и [[Сервис Prometheus#Тестирование alertmanager]] | + | * [[Сервис Prometheus#Настройка маршрутизации уведомлений]] (Email) |
| + | * [[Сервис Prometheus#Тестирование alertmanager]] | ||
| * [[Сервис Prometheus#Подключение готовых правил alertmanager]] | * [[Сервис Prometheus#Подключение готовых правил alertmanager]] | ||
| * [[Сервис Prometheus#Подключение Alertmanager к Prometheus]] | * [[Сервис Prometheus#Подключение Alertmanager к Prometheus]] | ||
| - | * [[Сервис Prometheus#Создание правил alertmanager]] (например, "сервис не отвечает", "много 500-х ошибок") | + | * [[Анализ производительности системы#Стресс тестирование и выявление нагрузки на HDD]] |
| + | |||
| + | * [[Сервис Prometheus#Создание правил alertmanager]] | ||
| + | * [[Сервис adnanh/webhook]] | ||
| + | * [[Сервис Prometheus#Настройка маршрутизации уведомлений]] (Webhook) | ||
| + | * [[Сервис Prometheus#Тестирование alertmanager]] | ||
| * Управление инцидентами, настройка silence (подавление алертов), агрегация нотификаций | * Управление инцидентами, настройка silence (подавление алертов), агрегация нотификаций | ||
| * [[Сервис Grafana#Настройка уведомлений]] непосредственно в интерфейсе Grafana (вместе с оценкой пороговых значений, на примере [[Сервис Prometheus#Отправка метрик из приложения]]) | * [[Сервис Grafana#Настройка уведомлений]] непосредственно в интерфейсе Grafana (вместе с оценкой пороговых значений, на примере [[Сервис Prometheus#Отправка метрик из приложения]]) | ||
prometheus_grafana_loki_-_observability.1778832849.txt.gz · Last modified: 2026/05/15 11:14 by val
Page Tools
Except where otherwise noted, content on this wiki is licensed under the following license: CC Attribution-Share Alike 4.0 International
