Методические материалы Лохтурова Вячеслава

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
====== Обновление кластера Kubernetes ======

  * [[https://admantium.medium.com/kubernetes-with-kubespray-9d7aaf04d35e|Kubernetes with Kubespray]]

===== Реклама =====

  * Kubernetes - актуальное и востребованное решение для масштабирования и отказоустойчивости приложений, можно сказать - операционная система над операционными системами. Но что с обновлениями этого "монстра"? Ведь, даже обновление одной Linux системы потенциально может закончится проблемами. На нашем вебинаре мы убедимся что и здесь отказоустойчивая архитектура Kubernetes поможет нам провести эту "неприятную" операцию без "стресса"


===== Техническое задание =====

  * Спланировать процедуру обновления кластера Kubernetes
  * Обновить версию ОС Linux на каждом узле до актуальной
  * Обновить версию Kubernetes на каждом узле до актуальной
  * Убедиться, что все приложения в кластере продолжали функционировать во все это время

===== Запись вебинара =====

  * [[https://rutube.ru/video/1b0cde4db02403e1e2a8a79cafda4131/]]
  * Тэги: linux, кubernetes, cluster, kubespray, upgrade

===== Методическая подготовка =====

  * Продолжение вебинаров [[Практические примеры Keycloak]], [[Доступ к приложениям в Bare-Metal Kubernetes]] и [[Работа с хранилищами в Kubernetes]] 

===== Шаг 1. Убеждаемся, что приложение в кластере работает =====

  * "Возвращаем"доступ к кeycloak в kube кластере в настройках haproxy на gate (в последней лабораторной рассматривали восстановление приложения в другом кластере из бекапа)

<code>
gate1.corp13.un:~# cat /etc/haproxy/haproxy.cfg
...
#    use_backend bk-node-ingress if { ssl_fc_sni keycloak.corp13.un }
...
</code>

  * [[Пакет OpenSSL#Импорт сертификата центра сертификации]]

<code>
gate1:~# curl https://keycloak.corp13.un/ #-f
</code>

  * Добавим [[Сервис Keycloak#Аутентификация пользователей WEB приложения]] для удобства тестирования работоспособности приложения из командной строки

<code>
gate1:~# while : ; do \
  curl -f -d "client_id=any-client" -d "client_secret=anystring" -d "grant_type=password" \
    -d "username=user1" -d 'password=kcpassword1' \
    https://keycloak.corp13.un/realms/corp13/protocol/openid-connect/token &>/dev/null && \
  echo "YES work `date`" || \
  echo "NO work `date`"; \
  sleep 60; done | tee -a work.log
</code>

  * Подключаемся к [[Система Kubernetes#longhorn]]

!!! В классе, если нет второго кластера, .kube/config заменять не нужно
<code>
$ cp .kube/config_kube .kube/config
</code>
===== Шаг 2. Возвращаем 3-й узел в кластер etcd ==== 

  * [[Система Kubernetes#Отладка etcd]]

  * Инструкция по восстановлению control-plane
<code>
server.corp13.un:~/kubespray# pandoc -t plain docs/recover-control-plane.md | less
  в новых версиях:
server.corp13.un:~/kubespray# pandoc -t plain docs/operations/recover-control-plane.md | less
</code><code>
...
-   If your new control plane nodes have new ip addresses you may have
    to change settings in various places.
...
</code>

  * Создаем новый kube3 (HW и !!!**ВЕРСИЯ ОС**!!! аналогично kubeN) и назначаем ему старый ip адрес (через установку mac и dhclient)
  * Возвращаем kube3 в инвентарный файл выполняем предварительную настройку

<code>
server.corp13.un:~# ssh-copy-id kube3

server.corp13.un:~# cat /root/kubespray/inventory/mycluster/hosts.yaml
...
    kube3:
      ansible_host: 192.168.13.223
      ip: 192.168.13.223
      access_ip: 192.168.13.223
...                   

(venv1) server.corp13.un:~# ansible all -a 'sed -i"" -e "/swap/s/^/#/" /etc/fstab' -i /root/kubespray/inventory/mycluster/hosts.yaml --limit=kube3

(venv1) server.corp13.un:~# ansible-playbook conf/ansible/roles/nodes.yml -i /root/kubespray/inventory/mycluster/hosts.yaml -e "variable_host=all name_prefix=kube" --limit=kube3
</code>

  * Добавляем, согласно инструкции, атрибуты etcd_member_name, секции broken_etcd (с kube3) и broken_kube_control_plane (пустую)

<code>
(venv1) server.corp13.un:~/kubespray# cat inventory/mycluster/hosts.yaml
</code><code>
all:
  hosts:
    kube1:
      ansible_host: 192.168.13.221
      ip: 192.168.13.221
      access_ip: 192.168.13.221
      etcd_member_name: etcd1
    kube2:
      ansible_host: 192.168.13.222
      ip: 192.168.13.222
      access_ip: 192.168.13.222
      etcd_member_name: etcd2
    kube3:
      ansible_host: 192.168.13.223
      ip: 192.168.13.223
      access_ip: 192.168.13.223
      etcd_member_name: etcd3
    kube4:
      ansible_host: 192.168.13.224
      ip: 192.168.13.224
      access_ip: 192.168.13.224
  children:
    kube_control_plane:
      hosts:
        kube1:
        kube2:
    kube_node:
      hosts:
        kube1:
        kube2:
        kube4:
    etcd:
      hosts:
        kube1:
        kube2:
        kube3:
    broken_etcd:
      hosts:
        kube3:
    broken_kube_control_plane:
      hosts:
    k8s_cluster:
      children:
        kube_control_plane:
        kube_node:
    calico_rr:
      hosts: {}
</code><code>
(venv1) server.corp13.un:~/kubespray# time ansible-playbook -i inventory/mycluster/hosts.yaml --limit etcd,kube_control_plane -e etcd_retries=10 recover-control-plane.yml
...
real    34m6.621s
...
</code>

Методические замечания **для преподавателя** при записи вебинара

  - Выключить только что созданный kube3
  - Выключить с откатом на "begin upgrade k8s webinar" kube1,2,4
  - Удалить только что созданный kube3
  - Восстановить из снимка "Corrected etcd" kube1,2,3,4
  - Дождаться запуска kubernetes и убедиться что с [[Система Kubernetes#Отладка etcd|etcd]] все в порядке
  - Дождаться работы приложения (10-12 минут)
  - Пока ждем, обсудить добавление kube3 как woker в kubernetes (делать не будем, все как в предыдущем вебинаре)
  - Пока ждем, почистить место на узлах
  - Пока ждем, подготовить все к запуску процесса обновления kubernetes 
===== Шаг 3. Добавляем 3-й узел как worker в кластер kubernetes и longhorn ==== 
<code>
(venv1) server.corp13.un:~/kubespray# cat inventory/mycluster/hosts.yaml
</code><code>
...
    kube_node:
      hosts:
        kube1:
        kube2:
        kube3:
        kube4:
...
#    broken_etcd:
#      hosts:
#        kube3:
#    broken_kube_control_plane:
#      hosts:
...
</code><code>
(venv1) server.corp13.un:~/kubespray# time ansible-playbook -i inventory/mycluster/hosts.yaml --limit=kube3 scale.yml
...
real    13m57.709s
...

kube3:~# apt install open-iscsi
</code>


  * [[#Освобождение места для работы longhorn]] на kube1,2
===== Шаг 4. Обновляем кластер kubernetes =====

  * [[https://github.com/kubernetes-sigs/kubespray/blob/master/docs/operations/upgrades.md]]

<code>
~/kubespray# pandoc -t plain docs/upgrades.md | less

~/kubespray# pandoc -t plain docs/operations/upgrades.md | less
...
Multiple upgrades
...

~/kubespray# git describe --tags

~/kubespray# git tag | more
</code>

  * [[https://stackoverflow.com/questions/10312521/how-do-i-fetch-all-git-branches|How do I fetch all Git branches?]]

<code>
~/kubespray# git fetch --all

~/kubespray# git checkout v2.23.3
</code>

  * [[https://github.com/kubernetes-sigs/kubespray?tab=readme-ov-file#quick-start|Kubespray - Deploy a Production Ready Kubernetes Cluster]]

<code>
~/kubespray# cp -rvfpT inventory/sample inventory/mycluster
</code>

  * [[Язык программирования Python#Виртуальная среда Python]]

<code>
(venv1) ~/kubespray# pip3 install -r requirements.txt

kube1:~# kubectl get nodes
NAME    STATUS   ROLES           AGE     VERSION
kube1   Ready    control-plane   183d    v1.26.11
kube2   Ready    control-plane   183d    v1.26.11
kube3   Ready    <none>          4h44m   v1.26.11
kube4   Ready    <none>          165d    v1.26.11

(venv1) ~/kubespray# time ansible-playbook -i inventory/mycluster/hosts.yaml upgrade-cluster.yml
...
real    94m58.471s
...

kube1:~# kubectl get nodes
NAME    STATUS   ROLES           AGE    VERSION
kube1   Ready    control-plane   183d   v1.27.7
kube2   Ready    control-plane   183d   v1.27.7
kube3   Ready    <none>          13h    v1.27.7
kube4   Ready    <none>          165d   v1.27.7
</code>

  * Через несколько итераций получаем обновленный кластер (в процессе потребоваться обновить систему с kubespray для создание новой виртуальной среды Python, поддерживающей новые версии требуемых компонентов)
  * Так же были обновлены kube1,3 и оставлены не обновленными kube2,4 для демонстрации, что версия k8s не привязана жестко к версии OS

<code>
(venv2) server.corp13.un:~/kubespray# git describe --tags
v2.26.0

kube1:~# kubectl get nodes
NAME    STATUS   ROLES           AGE    VERSION
kube1   Ready    control-plane   188d   v1.30.4
kube2   Ready    control-plane   188d   v1.30.4
kube3   Ready    <none>          44h    v1.30.4
kube4   Ready    <none>          170d   v1.30.4

</code>


Методические замечания **для преподавателя** при записи вебинара

  - Наблюдать работоспособность приложения в процессе обновления
  - Параллельно, обновить систему на kube1
  - Завершить очную запись вебинара и остановить запись
  - Дождаться завершения обновления, включить запись продемонстрировать результат обновления kubernetes и kube1
  - Опционально, остановить server,kube1,2,3,4 и восстановить их из снимка "final upgrade k8s" (можно остановить запись на время запуска приложения)
  - Продемонстрировать полностью обновленный kubernetes и систему на узлах
===== Дополнительные материалы =====

==== Обновление 11-го debian до 12-го ====

  * [[https://www.debian.org/releases/stable/amd64/release-notes/ch-upgrading.en.html|Chapter 4. Upgrades from Debian 11 (bullseye)]]

<code>
kubeN# cat /etc/debian_version
kubeN# uname -a

kubeN# time (apt-get update && DEBIAN_FRONTEND=noninteractive apt-get -y upgrade)
...
real    4m39.581s
...

kubeN# dpkg --configure -a

kubeN# sed -i -e 's/bullseye/bookworm/g' /etc/apt/sources.list

kubeN# time (apt-get update && DEBIAN_FRONTEND=noninteractive apt-get -y upgrade)
...
real    5m55.980s
...

kubeN# cat /etc/debian_version

kubeN# time DEBIAN_FRONTEND=noninteractive apt -y full-upgrade
...
real    5m53.970s
...

kubeN# init 6

kubeN# uname -a

kubeN# apt autoremove
</code>

==== Освобождение места для работы longhorn ====

<code>
kubeN# journalctl --vacuum-time=1h

kubeN# systemctl disable rsyslog.service; apt purge rsyslog -y; rm -v /var/log/syslog* /var/log/messages*

kubeN# apt purge perl -y && apt autoremove -y

kubeN# find /tmp -type f -size +10M | xargs rm
</code>
==== Выключение кластера kubernetes ====
<code>
(venv1) server.corp13.un:~/kubespray# ansible all -m community.general.shutdown -i /root/kubespray/inventory/mycluster/hosts.yaml
</code>
Методические материалы Лохтурова Вячеслава

User Tools

Site Tools

Page Tools
