• 4GB на узел для лонгхорн и кейклоак
• 12-й дебиан
• Нужен работающий k8s для демонстрации, в ожидании Kubespray

1. Узнать и записать свой номер стенда: X=
2. Сообщить его в чат преподавателю

• Разворачиваем стенд курса Linux. Уровень 2. Администрирование сервисов и сетей или Развертывание стенда дома (смотреть с 13-й минуты)

Запустите с правами Administrator

C:\cmder\cmder.exe

bash

cd

test -d conf && rm -rf conf

git clone http://val.bmstu.ru/unix/conf.git

cd conf/virtualbox/

!!! 9 - это номер курса, вместо X укажите Ваш номер стенда, если не знаете его, спросите преподавателя !!!

./setup.sh X 9

• Настройка виртуальных систем Unix с использованием Скрипты автоконфигурации

• gate

# sh net_gate.sh

# init 6

• server

# sh net_server.sh

# init 6

• Создать в Putty профили gate, server и подключиться

• Финальная настройка DNS сервера на server

server:~# git -C conf/ pull

server:~# sh conf/dns.sh

• Добавляем DNS записи kubeN A 192.168.X.220+N в Настройка мастер сервера зоны corpX.un
• Настройка клиента DNS на gate и server

# cat /etc/resolv.conf

search corpX.un
nameserver 192.168.X.10

# nslookup kubeN

• Настройка сервера DHCP на gate

gate:~# git -C conf/ pull

gate:~# sh conf/dhcp.sh

• Настройка MAC адресов 08:00:27:12:34:5N (для получения назначенного IP через Сервис DHCP) и запуск kube1-4

• Развертывание через Kubespray

• Создание самоподписанного сертификата (wild)
• Импорт сертификата центра сертификации на server (что бы не пере запускать docker)
• Установка docker-compose
• Подготовка к Включение TLS в GitLab
• Установка GitLab через docker-compose
• Подключаемся с хост системы по FQDN (для правильного Project URL) и создаем УЗ student с правами администратора (можно в следующую паузу)

• Разворачиваем win client2 (ip/m: 172.16.1.100+X/24, dns: 192.168.X.10)
• Копируем ca.crt

server# apt install apache2

server# rm /var/www/html/index.html

server# cp wild.crt /var/www/html/ca.crt

• Проверяем в Chrome доступность GitLab по https

• Язык программирования Golang на server, берем только код программы для следующего пункта
• Создаем Docker файл для Приложение golang gowebd (multistage для уменьшения размера)
• Проводим Аутентификация в Registry по https
• Создаем проект gowebd (Public, без README)
• Отключаем Auto DevOps для проекта
• Собираем и загружаем образ (latest), используя Инструмент kaniko, тестируем результат

• Только преподаватель
• Язык программирования Python (в venv2, без ssl (добавим в теме ingress), с конфигурацией и с /var/www, для демонстрации работы)
• Создаем и тестируем Docker образ для Приложение python pywebd (безопасный вариант, для демонстрации всех нюансов в k8s)
• Создаем проект pywebd (Public (Private на следующей итерации), без README) и Использование Private Registry для хранения образа (метки latest и ver1.1)

• Добавляем корпоративный сертификат в кластер kubernetes

bash -c '
scp /var/www/html/ca.crt kube1:/usr/local/share/ca-certificates/
ssh kube1 update-ca-certificates
ssh kube1 systemctl restart containerd
scp /var/www/html/ca.crt kube2:/usr/local/share/ca-certificates/
ssh kube2 update-ca-certificates
ssh kube2 systemctl restart containerd
scp /var/www/html/ca.crt kube3:/usr/local/share/ca-certificates/
ssh kube3 update-ca-certificates
ssh kube3 systemctl restart containerd
'

kubeN#
crictl pull server.corpX.un:5000/student/gowebd
crictl images
crictl rmi server.corpX.un:5000/student/gowebd

• Используем на kube1 Инструмент командной строки kubectl

• Что происходит, когда вы создаёте Pod в Kubernetes?

• Запуск и доступ к приложениям в k8s

• Define Environment Variables for a Container
• Sidecar Containers
• emptyDir
• Configure Liveness, Readiness and Startup Probes

kube1:~# mkdir pywebd-k8s;cd $_

• !!! Можно начать с использования образа gowebd, а потом усложнить
• Deployment
• Service, ClusterIP
• Предоставляем доступ к приложниям в k8s по NodePort

kube1:~/pywebd-k8s# kubectl -n my-ns exec -ti pods/my-webd-<TAB> -- sh

~ $ kill -STOP 16

kube1:~/pywebd-k8s# kubectl get pods -n my-ns --watch

• Хранение данных приложений в k8s

• hostPath и nodeSelector (lifecycle и initContainers снова пригодятся на следующем шаге)
• Установка Helm на kube1 (делаем все)
• PersistentVolume и PersistentVolumeVolumeClaim (убрать nodeSelector)

• Предоставляем доступ к приложниям в k8s по URL

• Вариант Ingress baremetal DaemonSet (делаем все)

• Deployment с emptyDir для демонстрации балансировки

server.corpX.un:~# cat /etc/bind/corpX.un

...
pywebd  A       192.168.X.221
        A       192.168.X.222
        A       192.168.X.223
...

• ingress example

$ curl http://pywebd.corpX.un

• Управление конфигурацией и доступ к приложеням в k8s по https

• Добавляем ssl в приложение на Язык программирования Python (в venv2, с конфигурацией (скопируем в k8s) и проверки работоспособности)

$ curl --connect-to "":"":server.corpX.un:4443 https://pywebd.corpX.un

• Создаем Docker образ ver1.2 для Приложение python pywebd
• Push-им в Gitlab и делаем проект приватным

• ConfigMap, Secret

• LoadBalancer

• Service LoadBalancer, port: 443, targetPort: 4443

$ curl --connect-to "":"":192.168.X.64:443 https://pywebd.corp24.un

server# cat /etc/bind/corpX.un

...
pywebd          A       192.168.X.64
...

• Тестируем с win client https://pywebd.corpX.un/
• Удаляем my-ns
• Удаляем LoadBalancer

• Сделать общий gitlab-runner kubernetes с тегом “build”

• Добавляем Пример CI с использованием контейнеров в каталог gowebd на server
• Используя “подсказки” размещаем проект в GitLab
• В GitLab наблюдаем сборку образа
• В GitLab добавляем тег ver1.1 и проверяем наличие образов

kube1:~# mkdir gowebd-k8s;cd $_

• Deployment ver1.1
• Service, ClusterIP

• В GitLab создаем версию ver1.2 и назначаем тэг

kube1:~/gowebd-k8s# cp my-webd-deployment.yaml my-webd-deployment-env.yaml

kube1:~/gowebd-k8s# cat my-webd-deployment-env.yaml

...
        image: server.corpX.un:5000/student/gowebd:$VER
...

kube1:~/gowebd-k8s# export VER=ver1.2

kube1:~/gowebd-k8s# envsubst < my-webd-deployment-env.yaml | kubectl apply -f - -n my-ns

kubeN# curl my-webd.my-ns.svc.cluster.local

• Устанавливаем из dpkg GitLab Runner на server и регистрируем как общий с тегом “k8s-deploy” и shell executor
• Устанавливаем Инструмент командной строки kubectl на server
• Настраиваем Подключение к кластеру для пользователя gitlab-runner на server

• Настраиваем stage deploy через envsubst используя Пример shell Kubernetes
• Создаем проект gowebd-k8s (Public, без Readme)
• Деплоим нужную версию в ручную (New Pipeeline MY_WEBD_VER=ver1.1)

• Через WebIDE
• Настраиваем зависимость между проектами gowebd и gowebd-k8s через stage deploy в Пример CI с использованием контейнеров
• Увеличиваем версию, добавляем соответствующий тег, проверяем версию приложения в k8s

• Обсуждаем Версии deployment, недостатки Gitlab CD и варианты, например Argo CD

• Удаление объектов (весь namespace)
• Установка Helm (если еще не установлен) на kube1
• Развертывание своего приложения (webd-chart с образом gowebd)

server.corpX.un:~# cat /etc/bind/corpX.un

...
gowebd  A       192.168.X.221
        A       192.168.X.222
        A       192.168.X.223
...

$ curl http://gowebd.corpX.un

• Установка Helm на server

gitlab-runner@server:~$ helm list -n my-ns

• Исправляем Пример shell Kubernetes с использованим helm и push-им все в репозиторий gowebd-k8s
• В проекте gowebd увеличиваем версию, добавляем соответствующий тег, проверяем версию приложения в k8s

• Работа со своим репозиторием для размещения helm пакета (будет использоваться в дополнительном материале)

Необходимо:

• удалить NS my-ns
• Удаляем Ingress baremetal DaemonSet в вебинаре будет повтор через helm)

server:~# ssh-copy-id gate

• Видео Доступ к приложениям в Bare-Metal Kubernetes с 00:28:30 до 01:39:00

• Видео Стратегии деплоя в Kubernetes (выполняем работы с 00:05:30 до конца)

• Видео Работа с хранилищами в Kubernetes (выполняем работы с 00:04:00 до конца)

• Видео Обновление кластера Kubernetes

выполняем работы:

• с 00:09:10 до 00:34:25 (восстанавливаем etcd)
• с 00:48:55 до 00:51:25 (добавляем kube3 как worker)
• с 00:54:50 до 01:03:33 (обновляем кластер)

kube1:~/pywebd-k8s# cat my-ingress.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: my-ingress
spec:
  ingressClassName: nginx
  rules:
  - host: pywebd.corp13.un
    http:
      paths:
      - backend:
          service:
            name: my-webd
            port:
              number: 4080
        path: /
        pathType: Prefix