• Bare-metal Kubernetes — спускайся с облаков
• Автоматический выпуск SSL-сертификатов. Используем Kubernetes и FreeIPA

• DevSecOps и промышленные решения

• https://docs.google.com/presentation/d/1x0pls2ClHYfdB3W3l6jb4If7e9vGpfDA/

1. Узнать и записать свой номер стенда: X=
2. Сообщить его в чат преподавателю

• Разворачиваем стенд курса Linux. Уровень 2. Администрирование сервисов и сетей или Развертывание стенда дома (смотреть с 13-й минуты)

• !!! kubeN 12Gb RAM (GitLab) + 4 CPU (Keycloak) !!!

Запустите с правами Administrator

C:\cmder\cmder.exe

bash

cd

test -d conf && rm -rf conf

git clone http://val.bmstu.ru/unix/conf.git

cd conf/virtualbox/

!!! 10 - это номер курса, вместо X укажите Ваш номер стенда, если не знаете его, спросите преподавателя !!!

./setup.sh X 10

• Настройка виртуальных систем Unix с использованием Скрипты автоконфигурации

• gate

# sh net_gate.sh

# init 6

• server

# sh net_server.sh

# init 6

• Создать в Putty профили gate, server и подключиться

server# sed -i -e 's/docker.ru/yandex.ru/g' /etc/apt/sources.list

server# apt update

• Установка docker-compose
• Может понадобится Настройка registry-mirrors
• Развертывание FreeIPA С использованием docker compose

• Настройка сервера DHCP на gate

gate:~# ###git -C conf/ pull

gate:~# sh conf/dhcp.sh

• Настройка MAC адресов 08:00:27:12:34:5N (для получения назначенного IP через Сервис DHCP)
• Запуск kube1-4

• Поверка после установки и Настройка доступа для клиентов DNS
• Управление DNS для добавления A записей kubeN

• Настройка клиента DNS на gate и server

# cat /etc/resolv.conf

search corpX.un
nameserver 192.168.X.10

# ping kubeN

• Подготовка к развертыванию через Kubespray
• Развертывание Kubernetes через Kubespray (Вариант 2 (docker))
• Настройка автодополнения (alias k)

• Импорт ВМ lin client1
• Инсталяция системы в конфигурации Desktop

• Настройка Использование системных сертификатов в Firefox

• FreeIPA Установка и инициализация клиента client1 (лучше перезагрузить)
• FreeIPA Управление пользователями user1

server# ssh-copy-id client1

• Запись практикума (длительность: 41 минута)

• Dynamic Volume Provisioning rancher local-path-provisioner
• Использование баз данных, (развертывание через оператор CloudNativePG)
• В 3-м модуле будет использование Kustomize для сокрытия чувствительных данных

• MetalLB
• Установка Helm

• Вебинар: Как и чем заменить Ingress NGINX
• Устанавливаем traefik

• Создание ключа и сертификата для стороннего сервиса
• secrets tls (keycloak-tls в ns my-keycloak-ns)

kube1:~# kubectl create ns my-keycloak-ns

kube1:~# kubectl create secret tls keycloak-tls --key /tmp/keycloak.key --cert /tmp/keycloak.crt -n my-keycloak-ns

• Сервис Keycloak в Kubernetes (версия 25.2.0, tls: true, postgresql.enabled: false, externalDatabase.host: “my-pgcluster-rw.my-pgcluster-ns”)
• В 3-м модуле будет использование Работа с чувствительными данными (секретами) для сокрытия чувствительных данных в Helm

• Базовая конфигурация (только realm, преподавателю можно user2)

• Авторизация с использованием LDAP сервера (демонстрирует преподаватель, можно с gate)
• Интеграция Keycloak с FreeIPA через LDAP
• Страница для проверки учетных записей

• Запись практикума (длительность: 23 минуты)

• Использование распределённых хранилищ (longhorn)

• Добавляем в DNS через GUI запись: gitlab A 192.168.X.65
• Решение FreeIPA Поддержка ACME
• Решение FreeIPA Динамический DNS
• Управление сертификатами с использованием cert-manager и выпуск сертификата для будущего развертывания gitlab

• Инструмент GitLab Установка через docker-compose

kube1:~/gitlab# sed -i -e 's/server.corpX/gitlab.corpX/' docker-compose.yml

...
    privileged: true
...
      - '22:22'
...
#      - '/etc/gitlab:/etc/gitlab'
...

• Для демонстрации OpenID (преподаватель)

server# scp /opt/freeipa-data/etc/ipa/ca.crt kube1:/tmp/

kube1:~/gitlab# kubectl -n my-gitlab-ns create configmap ca-crt --from-file=/tmp/ca.crt

• GitLab Клиент OpenID + %s/^/8пробелов/

• Использование kompose для получения манифестов

kube1:~/gitlab# kompose convert

kube1:~/gitlab# cat vol1-persistentvolumeclaim.yaml

...
      storage: 3Gi

kube1:~/gitlab# cat gitlab-deployment.yaml

...
          image: ...
#          lifecycle:
#            postStart:
#              exec:
#                command:
#                - /bin/sh
#                - -c
#                - |
#                  mkdir -p /etc/gitlab/trusted-certs/
#                  cp /etc/gitlab/tmp/ca.crt /etc/gitlab/trusted-certs/ca.crt
#                  apt update && DEBIAN_FRONTEND=noninteractive apt install msmtp-mta bsd-mailx -y
#                  echo -e 'account default\nhost server.corpX.un' > /etc/msmtprc
...   
          volumeMounts:
            - name: gitlab-tls-volume
              subPath: tls.crt
              mountPath: /etc/gitlab/ssl/gitlab.corpX.un.crt
            - name: gitlab-tls-volume
              subPath: tls.key
              mountPath: /etc/gitlab/ssl/gitlab.corpX.un.key
#            - name: ca-crt-volume
#              subPath: ca.crt
#              mountPath: /etc/gitlab/tmp/ca.crt
...
      hostname: gitlab
...
      volumes:
        - name: gitlab-tls-volume
          secret:
            secretName: gitlab-tls
#        - name: ca-crt-volume
#          configMap:
#            name: ca-crt
...

kube1:~/gitlab# cat gitlab-service.yaml

...
spec: 
  loadBalancerIP: 192.168.X.65
  type: LoadBalancer
...

kube1:~/gitlab# kubectl -n my-gitlab-ns apply -f vol1-persistentvolumeclaim.yaml,gitlab-service.yaml,gitlab-deployment.yaml

kube1:~/gitlab# kubectl -n my-gitlab-ns logs deployments/gitlab -f

• Проверка конфигурации и перезапуск для процесса Sidekiq

• Настройка подключения через OpenID (преподаватель)
• Аутентификация пользователей WEB приложения
• Создать УЗ user1 через REST API интерфейс и связать через Клиент OpenID

• Вебинар: Стратегии деплоя в Kubernetes

• Развертываем Deployment для тестового приложения, демонстрирующего версию

kube1:~/webd-k8s# cat my-webd-deployment.yaml

...
        image: httpd
        lifecycle:
...
                cd /usr/local/apache2/htdocs/
                echo "<h1>Hello from htwebd on $(hostname) ver1.1</h1>" > index.html

• Service

• Преподавателю продемонстрировать и, затем удалить Horizontal Pod Autoscaler

• Добавляем в DNS htwebd A 192.168.X.66
• Добавляем в Traefik kubernetesGateway

• Gateway (пока, без HTTPS)
• HTTPRoute

• Деплоим новую версию приложения

kube1:~/webd-k8s# 
cp my-webd-deployment.yaml my-webd-deployment2.yaml
cp my-webd-service.yaml my-webd-service2.yaml

...
   ...my-webd2
...

kube1:~/webd-k8s# kubectl -n my-ns apply -f my-webd-deployment2.yaml,my-webd-service2.yaml

• Воспроизводим Шаг 5. canary deployment with Gateway API с использованием Traefik и HTTPRoute

• Преподаватель демонстрирует добавление HTTPS в Gateway с использованием cert-manager

• Вебинар: Универсальный Helm-чарт

kube1:~/webd-k8s# kubectl delete ns my-ns

kube1:~/webd-k8s# curl -fsSL https://val.bmstu.ru/unix/uni-webd-chart.tgz | tar xzvf -

• Глобальные настройки для всех приложений

kube1:~/webd-k8s# cat env.yaml

domain: corpX.un

• Значения “по умолчанию” и примеры для персональных values.yaml

kube1:~/webd-k8s# less uni-webd-chart/values.yaml

...
service:
  port: 80
...

• Персональный values.yaml для приложения

kube1:~/webd-k8s# mkdir -p apps/htwebd/

kube1:~/webd-k8s# cat apps/htwebd/values.yaml

hostname: htwebd

replicaCount: 2
image:
  repository: httpd

kube1:~/webd-k8s# helm template my-htwebd uni-webd-chart/ -f apps/htwebd/values.yaml -f env.yaml

• Добавляем lifecycle.postStart и Gateway API в Универсальный Helm-чарт

• Демонстрируем недостатки традиционного CI/CD и удаляем развертывание

kube1# kubectl -n my-ns edit deployments.apps my-htwebd-dep
... 1.1 -> 1.2 ...

client1$ curl https://htwebd.corp13.un

kube1# kubectl delete ns my-ns

• Развертывание и подключение к контроллеру ArgoCD
• Добавление корпоративного корневого сертификата для работы с GitLab репозиторием

server# scp /opt/freeipa-data/etc/ipa/ca.crt kube1:/usr/local/share/ca-certificates/

kube1# update-ca-certificates

• Добавление корпоративного корневого сертификата в контроллер ArgoCD

• Добавляем в GitLab public группу student
• Создаем проект webd-k8s (public, без readme, в группе student) в GitLab и настраиваем Управление приложениями через kubectl в ArgoCD
• Повторяем попытку изменить поведение приложения “вручную”

• Преподавателю можно показать Развертывание множества приложений через ApplicationSet, добавив приложение ehwebd

kube1:~/webd-k8s# mkdir apps/ehwebd

kube1:~/webd-k8s# cp uni-webd-chart/values.yaml apps/ehwebd/

...

kube1:~/webd-k8s# helm template my-ehwebd uni-webd-chart/ -f apps/ehwebd/values.yaml -f env.yaml

• SAST для самых маленьких. Обзор open-source инструментов поиска уязвимостей для C/C++

Инструмент Semgrep

• Установка Docker на client1 (у контейнеров на server есть проблемы с dns из-за freeipa)
• Виртуальная среда Python
• Приложение на Python Flask Gunicorn
• Dockerfile Приложение python pywebd
• Инструмент Semgrep для статического анализа кода

Сканер Trivy

• Разместить образ pywebd в gitlab
• Сканер Trivy для анализа уязвимостей в контейнерах

CI

• Демонстрирует преподаватель
• gitlab-runner kubernetes
• Интеграция инструментов безопасности в CI (см. Примеры конфигураций)

• Можно продемонстрировать Развертывание множества приложений через ApplicationSet, приложения pywebd, (потребует Добавление корпоративного корневого сертификата в кластер)

kube1:~/webd-k8s# mkdir apps/pywebd

kube1:~/webd-k8s# cp uni-webd-chart/values.yaml apps/pywebd/

...

kube1:~/webd-k8s# helm template my-pywebd uni-webd-chart/ -f apps/pywebd/values.yaml -f env.yaml

• Вебинар: Управление секретами в сети предприятия

• Установка и подключение Hashicorp Vault на server
• Включение Transit secrets engine и создание ключей для pgcluster и keycloak
• Создание Vault policy для pgcluster и keycloak
• Создание Vault auth token role для pgcluster и keycloak
• Установка Mozilla Sops на kube1
• Kustomize для сокрытия чувствительных данных
• Работа с чувствительными данными (секретами) в Helm

Управление доступом к API

• Инструмент командной строки kubectl на client1

• Использование сертификатов для Создание файла конфигурации kubectl и Предоставление полного доступа к Namespace

• Cluster Roles, Создание и привязка ServiceAccount к ClusterRole (ns default), Создание long-lived токена (ns default), Создание файла конфигурации kubectl
• Устанавливаем Kubernetes Dashboard с client1

• Преподаватель демонстрирует интеграцию с внешними системами идентификации для Управление доступом в Kubernetes

SecurityContext/NetworkPolicy

• Обсудить Использование SecurityContext

# kubectl run my-ubuntu --image=ubuntu -- "sleep" "infinity"

# kubectl exec -ti pods/my-ubuntu -- bash

• Проверяем доступ через Клиент psql в pod и telnet с узлов кластера (Подключение по сети)
• Использование NetworkPolicy для управления доступом в NS кластера

• DPI из подручных материалов

• Готовимся перехватывать трафик

# kubectl expose pod my-ubuntu --port=80

• Разворачиваем Gateway API реализацию Envoy Gateway

• Удаляем приложение в ArgoCD (Управление приложениями через kubectl)

• Разворачиваем htwebd из манифестов

kube1:~/webd-k8s# kubectl apply -f my-webd-deployment.yaml,my-webd-service.yaml -n my-ns

• Правим DNS запись htwebd A 192.168.X.67
• Добавляем cert-manager certificate, Envoy и HTTPS в Gateway и requestMirror в HTTPRoute

• Разворачиваем основу для IDS

root@my-ubuntu:/# apt install netcat-traditional

root@my-ubuntu:/# while true; do nc -tlp 80; done    # need listen port or was RST TCP

client1$ curl http://htwebd.corpX.un/root.exe

root@my-ubuntu:/# Ctrl-Z

root@my-ubuntu:/# jobs

root@my-ubuntu:/# kill %1

• Можно развернуть snort из статьи DPI из подручных материалов

root@my-ubuntu:/# snort -i eth0 -S HOME_NET=[0.0.0.0/0] -c /etc/snort/snort.conf # -A console 

• Вебинар: Мониторинг кластера Kubernetes

• Metrics Server

• Для получения уведомлений по email на server понадобится Установка и запуск сервера Apache на порту 81 и Сервис Ansible
• Для тестирования уведомлений используем Manifest развертывания с последующим стресс тестированием из Анализ производительности системы

• Сервис VictoriaMetrics

• Резервное копирование и восстановление данных приложений с Использование backup-ов longhorn (Вебинар: Работа с хранилищами в Kubernetes)
• Резервное копирование и восстановление PostgreSQL (Вебинар: Все что должен знать DevOps про PostgreSQL)
• Отладка etcd

• Остановить кластер, сделать снапшоты
• Может понадобиться Проверка конфигурации и перезапуск GitLab
• Поиск и удаление подов в нерабочем состоянии
• Управление юнитами Systemd systemctl reset-failed

• Выбор узла кластера для “аварии” (Проверить Pod Deletion Policy в Longhorn, выяснить где keycloak, gitlab и master cnpg кластера)
• Если будет выбран 1-й узел, можно сделать

kube1:~# rsync -avz /root/ kube2.corpX.un:/root/

cmder> notepad .kube/config

• Выход из строя (выключение по питанию)

• Анализ работоспособности кластера (Отладка etcd)
• Анализ работоспособности приложений (Проверка состояния кластера cnpg)
• Может понадобиться удаление pod-ов (keycloak) с

  --grace-period=0 --force

• Удаление вышедшего из строя узла через kubespray

• Использование Развертывание через Kubespray для добавления kube4 в качестве управляющего, рабочего и etcd узла

• Восстановление отказоустойчивости приложений (создание каталогов и установка ПО для Dynamic Volume Provisioning)
• Может понадобиться Миграция с вышедшего из строя узла для кластера CloudNativePG

• Проверка состояния кластера и приложений

• Обновление кластера через kubespray
• Проверка состояния кластера и приложений

stages:
  - lint
  - build
  - scan
  - push

variables:
  KANIKO_REGISTRY_MIRROR: "mirror.gcr.io"

Build:
  stage: build
  image:
    name: gcr.io/kaniko-project/executor:v1.9.0-debug
    entrypoint: [""]
  script:
    - echo "{\"auths\":{\"${CI_REGISTRY}\":{\"auth\":\"$(printf "%s:%s" "${CI_REGISTRY_USER}" "${CI_REGISTRY_PASSWORD}" | base64 | tr -d '\n')\"}}}" > /kaniko/.docker/config.json
    - /kaniko/executor
      --insecure --skip-tls-verify
      --context "${CI_PROJECT_DIR}"
      --dockerfile "${CI_PROJECT_DIR}/Dockerfile"
      --destination "${CI_REGISTRY_IMAGE}:${CI_COMMIT_SHA}"

  except:
    - tags
  tags:
    - build

Push latest:
  image:
    name: gcr.io/go-containerregistry/crane:debug
    entrypoint: [""]
  variables:
    GIT_STRATEGY: none
  stage: push
  only:
    - main
  script:
    - crane auth login -u $CI_REGISTRY_USER -p $CI_REGISTRY_PASSWORD $CI_REGISTRY
    - crane --insecure cp $CI_REGISTRY_IMAGE:$CI_COMMIT_SHA $CI_REGISTRY_IMAGE:latest
  tags:
    - build

Push tag:
  image:
    name: gcr.io/go-containerregistry/crane:debug
    entrypoint: [""]
  variables:
    GIT_STRATEGY: none
  stage: push
  only:
    - tags
  script:
   - crane auth login -u $CI_REGISTRY_USER -p $CI_REGISTRY_PASSWORD $CI_REGISTRY
   - crane --insecure cp $CI_REGISTRY_IMAGE:$CI_COMMIT_SHA $CI_REGISTRY_IMAGE:$CI_COMMIT_REF_NAME
  tags:
    - build

semgrep:
  stage: lint
  image: semgrep/semgrep
  script: semgrep --config=auto --error
  variables:
    SEMGREP_SRC_DIRECTORY: $CI_PROJECT_DIR
    https_proxy: http://gate.isp.un:3128/
    no_proxy: localhost,127.0.0.1,un
  except:
    - tags
  tags:
    - build

trivy:
  stage: scan
  image:
    name: ghcr.io/aquasecurity/trivy
    entrypoint: [""] 
  variables:
    #TRIVY_USERNAME: "$CI_REGISTRY_USER"
    #TRIVY_PASSWORD: "$CI_REGISTRY_PASSWORD"
    TRIVY_REGISTRY: "$CI_REGISTRY"
    TRIVY_CACHE_DIR: ".trivycache/"
  script:
    - trivy image --exit-code 1 --severity HIGH --insecure $CI_REGISTRY_IMAGE:$CI_COMMIT_SHA
  cache:
    paths:
      - ".trivycache/"
  except:
    - tags
  tags:
    - build

• DevSecOps
• - Анализ кода и контейнеров на уязвимости
• - Управление доступом в K8S
• - Управление чувствительными данными в CI/CD (Hashicorp Vault, Mozilla Sops)
• - Управление сертификатами (K8S cert-manager и FreeIPA)
• Использование LDAP и OpenID для управления идентификацией (Keycloak и FreeIPA)
• IDS/IPS (Suricata)

• ArgoCD и универсальный Helm Chart
• Распределенные блочные хранилища в K8S (Longhorn)
• Операторы K8S и СУБД (CloudNativePG)
• Брокеры сообщения (Kafka или RabbitMQ)
• Service Mesh (Istio)

client1:~# time docker build -t gitlab.corpX.un:5000/student/gowebd:ver1.1 gowebd/
...
client1:~# time docker build -t gitlab.corpX.un:5000/student/gowebd:ver1.2 gowebd/

• Добавляем корпоративный сертификат в систему server

server#
cp /opt/freeipa-data/etc/ipa/ca.crt kube1:/usr/local/share/ca-certificates/
update-ca-certificates
systemctl reload docker

• Управление образами

• Демонстрирует преподаватель
• Приложение apwebd, Deployment, Service, Создание ключа и сертификата для стороннего сервиса, ingress example