DevSecOps и промышленные решения

• Bare-metal Kubernetes — спускайся с облаков
• Автоматический выпуск SSL-сертификатов. Используем Kubernetes и FreeIPA

• DevSecOps и промышленные решения

1. Узнать и записать свой номер стенда: X=
2. Сообщить его в чат преподавателю

• Разворачиваем стенд курса Linux. Уровень 2. Администрирование сервисов и сетей или Развертывание стенда дома (смотреть с 13-й минуты)

• !!! kubeN 12Gb RAM (GitLab) + 4 CPU (Keycloak) !!!

Запустите с правами Administrator

C:\cmder\cmder.exe

bash

cd

test -d conf && rm -rf conf

git clone http://val.bmstu.ru/unix/conf.git

cd conf/virtualbox/

!!! 10 - это номер курса, вместо X укажите Ваш номер стенда, если не знаете его, спросите преподавателя !!!

./setup.sh X 10

• Настройка виртуальных систем Unix с использованием Скрипты автоконфигурации

• gate

# sh net_gate.sh

# init 6

• server

# sh net_server.sh

# init 6

• Создать в Putty профили gate, server и подключиться

server# apt update

• Установка docker-compose
• Может понадобится Настройка registry-mirrors
• Развертывание FreeIPA С использованием docker compose

• Настройка сервера DHCP на gate

gate:~# ###git -C conf/ pull

gate:~# sh conf/dhcp.sh

• Настройка MAC адресов 08:00:27:12:34:5N (для получения назначенного IP через Сервис DHCP) и запуск kube1-4

• Настройка доступа для клиентов DNS
• Управление DNS для добавления A записей kubeN

• Настройка клиента DNS на gate и server

# cat /etc/resolv.conf

search corpX.un
nameserver 192.168.X.10

# host kubeN

• Подготовка к развертыванию через Kubespray
• Развертывание Kubernetes через Kubespray (Вариант 2 (docker))

• Импорт ВМ client1
• Инсталяция системы в конфигурации Desktop

• FreeIPA Установка и инициализация клиента client1
• FreeIPA Управление пользователями user1
• Настройка Использование системных сертификатов в Firefox

• Dynamic Volume Provisioning rancher local-path-provisioner
• Использование баз данных, (развертывание через оператор CloudNativePG)
• Преподаватель может показать использование Kustomize для сокрытия чувствительных данных

• MetalLB
• Установка Helm

• Как и чем заменить Ingress NGINX
• traefik

• Создание ключа и сертификата для стороннего сервиса
• secrets tls (keycloak-tls в ns my-keycloak-ns)

kube1:~# kubectl create ns my-keycloak-ns

kube1:~# kubectl create secret tls keycloak-tls --key /tmp/keycloak.key --cert /tmp/keycloak.crt -n my-keycloak-ns

• Сервис Keycloak в Kubernetes (версия 25.2.0, tls: true, postgresql.enabled: false, externalDatabase.host: “my-pgcluster-rw.my-pgcluster-ns”)
• Преподаватель может показать Helm Работа с чувствительными данными (секретами) для сокрытия чувствительных данных

• Базовая конфигурация (только realm, преподавателю можно user2)

• Авторизация с использованием LDAP сервера (демонстрирует преподаватель, можно с gate)
• Интеграция Keycloak с FreeIPA через LDAP
• Страница для проверки учетных записей

• Использование распределённых хранилищ (longhorn)

• Добавляем в DNS через GUI запись: gitlab A 192.168.X.65
• Решение FreeIPA Поддержка ACME
• Решение FreeIPA Динамический DNS
• Управление сертификатами с использованием cert-manager

• Инструмент GitLab Установка через docker-compose

kube1:~/gitlab# sed -i -e 's/server.corpX/gitlab.corpX/' docker-compose.yml

...
    privileged: true
...
      - '22:22'
...
#      - '/etc/gitlab:/etc/gitlab'
...

• Для демонстрации OpenID

server# scp /opt/freeipa-data/etc/ipa/ca.crt kube1:/tmp/

kube1:~/gitlab# kubectl -n my-gitlab-ns create configmap ca-crt --from-file=/tmp/ca.crt

• GitLab Клиент OpenID + %s/^/8пробелов/

• Использование kompose для получения манифестов

kube1:~/gitlab# kompose convert

kube1:~/gitlab# cat vol1-persistentvolumeclaim.yaml

...
      storage: 2000Mi

kube1:~/gitlab# cat gitlab-deployment.yaml

...
          image: ...
#          lifecycle:
#            postStart:
#              exec:
#                command:
#                - /bin/sh
#                - -c
#                - |
#                  mkdir -p /etc/gitlab/trusted-certs/
#                  cp /etc/gitlab/tmp/ca.crt /etc/gitlab/trusted-certs/ca.crt
#                  apt update && DEBIAN_FRONTEND=noninteractive apt install msmtp-mta bsd-mailx -y
#                  echo -e 'account default\nhost mail.corpX.un' > /etc/msmtprc
...   
          volumeMounts:
            - name: gitlab-tls-volume
              subPath: tls.crt
              mountPath: /etc/gitlab/ssl/gitlab.corpX.un.crt
            - name: gitlab-tls-volume
              subPath: tls.key
              mountPath: /etc/gitlab/ssl/gitlab.corpX.un.key
#            - name: ca-crt-volume
#              subPath: ca.crt
#              mountPath: /etc/gitlab/tmp/ca.crt
...
      hostname: gitlab
...
      volumes:
        - name: gitlab-tls-volume
          secret:
            secretName: gitlab-tls
#        - name: ca-crt-volume
#          configMap:
#            name: ca-crt
...

kube1:~/gitlab# cat gitlab-service.yaml

...
spec: 
  loadBalancerIP: 192.168.X.65
  type: LoadBalancer
...

kube1:~/gitlab# kubectl -n my-gitlab-ns apply -f vol1-persistentvolumeclaim.yaml,gitlab-service.yaml,gitlab-deployment.yaml

kube1:~/gitlab# kubectl -n my-gitlab-ns logs pods/gitlab-<TAB> -f

• Проверка конфигурации и перезапуск для процесса Sidekiq

• Настройка подключения через OpenID
• Аутентификация пользователей WEB приложения
• Создать УЗ user1 через REST API интерфейс и связать через Клиент OpenID

• htwebd A 192.168.X.66

• Deployment

kube1:~/webd-k8s# cat my-webd-deployment.yaml

...
        image: httpd
        lifecycle:
...
                cd /usr/local/apache2/htdocs/
                echo "<h1>Hello from htwebd on $(hostname) ver1.1</h1>" > index.html

• Service

• Можно показать и, затем удалить Horizontal Pod Autoscaler

• cert-manager
• Gateway
• HTTPRoute

kube1:~/webd-k8s# cp my-webd-deployment.yaml my-webd-deployment2.yaml
kube1:~/webd-k8s# cp my-webd-service.yaml my-webd-service2.yaml
...

• Стратегии деплоя в Kubernetes

• Универсальный Helm-чарт

kube1:~/webd-k8s# kubectl delete ns my-ns

kube1:~/webd-k8s# curl -fsSL https://val.bmstu.ru/unix/uni-webd-chart.tgz | tar xzvf -

kube1:~/webd-k8s# less uni-webd-chart/values.yaml

...
service:
  port: 80
...

kube1:~/webd-k8s# mkdir -p apps/htwebd/

kube1:~/webd-k8s# cat apps/htwebd/values.yaml

hostname: htwebd

replicaCount: 2
image:
  repository: httpd

kube1:~/webd-k8s# cat env.yaml

domain: corpX.un

kube1:~/webd-k8s# helm template my-htwebd uni-webd-chart/ -f apps/htwebd/values.yaml -f env.yaml

• Добавляем lifecycle.postStart и Gateway API

• Развертывание и подключение к контроллеру ArgoCD

• Добавление корпоративного корневого сертификата для загрузки Git репозитория

server# scp /opt/freeipa-data/etc/ipa/ca.crt kube1:/usr/local/share/ca-certificates/

server# ssh kube1 update-ca-certificates

• Добавление корпоративного корневого сертификата в контроллер ArgoCD
• Управление приложениями через kubectl

• Можно показать Развертывание множества приложений через ApplicationSet, добавив приложение ehwebd

kube1:~/webd-k8s# mkdir apps/ehwebd

kube1:~/webd-k8s# cp uni-webd-chart/values.yaml apps/ehwebd/

...

kube1:~/webd-k8s# helm template my-ehwebd uni-webd-chart/ -f apps/ehwebd/values.yaml -f env.yaml

• SAST для самых маленьких. Обзор open-source инструментов поиска уязвимостей для C/C++

• Инструмент Semgrep для статического анализа кода
• Сканер Trivy для анализ уязвимостей в контейнерах

• gitlab-runner kubernetes
• Интеграция инструментов безопасности в CI/CD

stages:
  - lint
  - build
  - scan
  - push

variables:
  KANIKO_REGISTRY_MIRROR: "mirror.gcr.io"

Build:
  stage: build
  image:
    name: gcr.io/kaniko-project/executor:v1.9.0-debug
    entrypoint: [""]
  script:
    - echo "{\"auths\":{\"${CI_REGISTRY}\":{\"auth\":\"$(printf "%s:%s" "${CI_REGISTRY_USER}" "${CI_REGISTRY_PASSWORD}" | base64 | tr -d '\n')\"}}}" > /kaniko/.docker/config.json
    - /kaniko/executor
      --insecure --skip-tls-verify
      --context "${CI_PROJECT_DIR}"
      --dockerfile "${CI_PROJECT_DIR}/Dockerfile"
      --destination "${CI_REGISTRY_IMAGE}:${CI_COMMIT_SHA}"

  except:
    - tags
  tags:
    - build

Push latest:
  image:
    name: gcr.io/go-containerregistry/crane:debug
    entrypoint: [""]
  variables:
    GIT_STRATEGY: none
  stage: push
  only:
    - main
  script:
    - crane auth login -u $CI_REGISTRY_USER -p $CI_REGISTRY_PASSWORD $CI_REGISTRY
    - crane --insecure cp $CI_REGISTRY_IMAGE:$CI_COMMIT_SHA $CI_REGISTRY_IMAGE:latest
  tags:
    - build

Push tag:
  image:
    name: gcr.io/go-containerregistry/crane:debug
    entrypoint: [""]
  variables:
    GIT_STRATEGY: none
  stage: push
  only:
    - tags
  script:
   - crane auth login -u $CI_REGISTRY_USER -p $CI_REGISTRY_PASSWORD $CI_REGISTRY
   - crane --insecure cp $CI_REGISTRY_IMAGE:$CI_COMMIT_SHA $CI_REGISTRY_IMAGE:$CI_COMMIT_REF_NAME
  tags:
    - build

semgrep:
  stage: lint
  image: semgrep/semgrep
  script: semgrep --config=auto --error
  variables:
    SEMGREP_SRC_DIRECTORY: $CI_PROJECT_DIR
    https_proxy: http://gate.isp.un:3128/
    no_proxy: localhost,127.0.0.1,un
  except:
    - tags
  tags:
    - build

trivy:
  stage: scan
  image:
    name: ghcr.io/aquasecurity/trivy
    entrypoint: [""] 
  variables:
    #TRIVY_USERNAME: "$CI_REGISTRY_USER"
    #TRIVY_PASSWORD: "$CI_REGISTRY_PASSWORD"
    TRIVY_REGISTRY: "$CI_REGISTRY"
    TRIVY_CACHE_DIR: ".trivycache/"
  script:
    - trivy image --exit-code 1 --severity HIGH --insecure $CI_REGISTRY_IMAGE:$CI_COMMIT_SHA
  cache:
    paths:
      - ".trivycache/"
  except:
    - tags
  tags:
    - build

• Можно показать Развертывание множества приложений через ApplicationSet, приложения pywebd, (потребует Добавление корпоративного корневого сертификата в кластер)

kube1:~/webd-k8s# mkdir apps/pywebd

kube1:~/webd-k8s# cp uni-webd-chart/values.yaml apps/pywebd/

...

kube1:~/webd-k8s# helm template my-pywebd uni-webd-chart/ -f apps/pywebd/values.yaml -f env.yaml

• Управление секретами в сети предприятия
• Kustomize для сокрытия чувствительных данных
• Работа с чувствительными данными (секретами) в Helm

• Управление доступом в Kubernetes для пользователей и интеграция с внешними системами идентификации
• Практикум: адинистрирование NS по сертификату, всего кластера через токен service-account

• Обсудить, или придумать лабораторную работу про Использование SecurityContext
• Использование NetworkPolicy для управления доступом в сети кластера
• Тестируем доступ через Клиент psql из разных NS (используя pod-ы my-debian из Базовые объекты k8s) и, непосредственно, с узлов кластера

• Использование IDS/IPS в Kubernetes
• DPI из подручных материалов

root@my-ubuntu:/# apt install apache2
/etc/init.d/apache2 start
tcpdump -nnieth0 -s0 -A port 80

root@my-ubuntu:/# snort -i eth0 -S HOME_NET=[0.0.0.0/0] -c /etc/snort/snort.conf # -A console 

• Мониторинг кластера Kubernetes
• Резервное копирование и восстановление данных приложений
• Восстановление управляющих и рабочих узлов
• Восстановление etcd

• DevSecOps
• - Анализ кода и контейнеров на уязвимости
• - Управление доступом в K8S
• - Управление чувствительными данными в CI/CD (Hashicorp Vault, Mozilla Sops)
• - Управление сертификатами (K8S cert-manager и FreeIPA)
• Использование LDAP и OpenID для управления идентификацией (Keycloak и FreeIPA)
• IDS/IPS (Suricata)

• ArgoCD и универсальный Helm Chart
• Распределенные блочные хранилища в K8S (Longhorn)
• Операторы K8S и СУБД (CloudNativePG)
• Брокеры сообщения (Kafka или RabbitMQ)
• Service Mesh (Istio)

client1:~# time docker build -t gitlab.corpX.un:5000/student/gowebd:ver1.1 gowebd/
...
client1:~# time docker build -t gitlab.corpX.un:5000/student/gowebd:ver1.2 gowebd/

• Добавляем корпоративный сертификат в систему server

server#
cp /opt/freeipa-data/etc/ipa/ca.crt kube1:/usr/local/share/ca-certificates/
update-ca-certificates
systemctl reload docker

• Управление образами

• Демонстрирует преподаватель
• Приложение apwebd, Deployment, Service, Создание ключа и сертификата для стороннего сервиса, ingress example