• Мониторинг кластера Kubernetes: общий обзор и знакомство с Prometheus
• Prometheus + Loki + Grafana: отслеживаем состояния k8s и запущенных в нём приложении
• Monitoring as Code via GitOps: VictoriaMetrics, Loki и Grafana в Kubernetes
• selectel Мониторинг в K8s с помощью Prometheus
• Kubernetes Observability Guide: Best Practices & Tools

• Всем привет! Очередной максимально практический вебинар поможет нам спокойно “забыть” о развернутых в Kubernetes приложениях, и “вспомнить” о них не тогда, когда что-то пойдет не так, а как только появятся предпосылки для этого. Научимся использовать популярные решения Prometheus, VictoriaMetrics, Loki и Grafana

• Выяснить, что и зачем нужно мониторить в Kubernetes
• Настроить мониторинг (monitoring) и наблюдаемость (observability) компонентов кластера и приложений
• Обеспечить визуализацию происходящих в кластере процессов

• Тэги:

• DevOps2. Использование Kubernetes
• Dynamic Volume Provisioning

• Используем Базовые объекты k8s для стресс тестирования из Модуль 11. Анализ производительности и оптимизация системы и генерации журналов

kube1# kubectl logs pods/my-debian -f

• Добавление журналов

kube1:~# kubectl describe nodes kubeN

• https://kubernetes-sigs.github.io/metrics-server/Kubernetes Metrics Server
• Fix “error: Metrics API not available” in Kubernetes

kube1:~/metrics-server# curl -L https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.7.2/components.yaml | tee metrics-server-components.yaml

kube1:~/metrics-server# cat metrics-server-components.yaml

...
      containers:
      - args:
        - --cert-dir=/tmp
        - --kubelet-insecure-tls   # add this
...

kube1:~/metrics-server# kubectl apply -f metrics-server-components.yaml

kube1# kubectl get pods -A | grep metrics-server

kube1# kubectl top pod #-n kube-system

kube1# kubectl top pod -A --sort-by=mem

kube1# kubectl top node

• Сервис VictoriaMetrics

• Deploy Loki and Promtail to your cluster

http://loki.loki-stack.svc.cluster.local:3100
http://loki-prometheus-server.loki-stack.svc.cluster.local:80


kube1:~/loki-stack# helm pull grafana/loki-stack

kube1:~/loki-stack# less loki-stack/charts/loki/values.yaml

persistence:
  enabled: false
  accessModes:
  - ReadWriteOnce
  size: 10Gi


kube1:~/loki-stack# cat values.yaml
loki:
  persistence:
    enabled: true

prometheus:
  enabled: true
  alertmanager:
    config:
      global:
        smtp_smarthost: 'server.corp13.un:25'
        smtp_from: 'alertmanager@corp13.un'
        smtp_require_tls: false

      templates:
        - '/etc/alertmanager/*.tmpl'

      route:
        group_wait: 30s
        group_interval: 5m
        repeat_interval: 3h
        receiver: team-X-mails

      receivers:
      - name: 'team-X-mails'
        email_configs:
        - to: 'student@corp13.un'
          send_resolved: true

  serverFiles:
    alerting_rules.yml:
      groups:


kube1:~/loki-stack# helm upgrade --install loki --namespace=loki-stack grafana/loki-stack --create-namespace -f values.yaml

### helm delete loki --namespace=loki-stack