DevOps1. Основные инструменты

• DevOps. Уровень 1. Инфраструктура как код, основные инструменты
• ДП-ДЕВОПС-М

• ∞ Дорожная карта DevOps-инженера в 2023 году

• Узнать свой номер стенда
• Проверить наличие дистрибутивов и образов (будет сделано)
• Использовать кэширующий прокси для ускорения загрузки

• Разворачиваем стенд курса Linux. Уровень 2. Администрирование сервисов и сетей

Запустите с правами Administrator

C:\cmder\cmder.exe

bash

cd

test -d conf && rm -r conf

git clone http://val.bmstu.ru/unix/conf.git

cd conf/virtualbox/

!!! 8 - это номер курса, вместо X укажите Ваш номер стенда, если не знаете его, спросите преподавателя !!!

./setup.sh X 8

• Настройка виртуальных систем Unix с использованием Скрипты автоконфигурации

• gate

# sh net_gate.sh

# init 6

• server

# sh net_server.sh

# init 6

• Создать в Putty профили gate, server и подключиться

• Финальная настройка DNS сервера

server:~# sh conf/dns.sh

• Настройка клиента DNS на gate и server

# cat /etc/resolv.conf

search corpX.un
nameserver 192.168.X.10

# nslookup ns

• !!! Заранее выполняем на server

• Установку Инструмент Gitea
• Установку Сервис JRE (и на gate)
• Установку Инструмент Jenkins !!! и установку плагинов !!!

• Установку Сервис Ansible
• Cкачать deb пакет GitLab Runner
• Установку Инструмент GitLab

• !!! Заранее выполняем на host системе
• Технология Vagrant Установка

• Сервис Git

• Сервис Git для каталога /etc на gate (демонстрирует преподаватель)
• Сервис DHCP

gate:~# sh conf/dhcp.sh

• Статистика DHCP сервера
• Использование утилиты make (установить)
• Определение наличия и правка профилей для служб (удалить профиль) !!! перед перезагрузкой gate, проверить, не качается ли что-то на server !!!

gate# su - student

• Использование make для сопровождения файлов конфигурации сервиса
• Сервис Git для каталога ~student/dhcp/ на gate (лучше в следующей лабораторной)

• Инструмент Gitea
• Подключаемся как student, Repository Name: dhcp
• Обновление сетевого репозитория из локального (копируем инструкции из подсказки)
• Редактируем dhcpd.conf в Gitea (Commit to master branch)

• Статистика DHCP сервера
• Клонирование и обновление локального репозитория из сетевого (можно как root на gate)
• Использование make для сопровождения файлов конфигурации сервиса

• Инструмент Jenkins

• Вебинар: Вход в CI/CD для Linux-админа
• Статья: Самый простой пример CI/CD

• Установка Инструмент GitLab
• http://server.corpX.un/
• Используем Управление пользователями в GitLab для назначении пароля пользователю root и создания учетной записи student (лучше назначить его администратором)

!!! в теме Ansible

• Создаем новый репозиторий (Project name: openvpn1, Private, без README) в GitLab
• Пользуясь инструкцией к проекту, включаем Сервис Git для каталога openvpn1 (ubuntu20 ветка master) и помещаем его в GitLab

• Устанавливаем и регистрируем GitLab Runner (shell) на server
• Используя GitLab Pipeline Editor добавляем в проект openvpn1 Пример shell ansible Pipeline и наблюдаем выкатку в прод после Commit в master/main

• Добавляем параметры dhcp-option,block-outside-dns и Commit в test с созданием Merge requests и наблюдаем выкатку в тестовую среду, проверяем работу сервиса в ней

• Одобряем Merge requests и наблюдаем выкатку в прод

• Дополнительное задание - добавить Тестирование конфигурации перед деплоем

1. Чем отличается GitLab от Git?
2. Что делают операции add, commit, push в Git?
3. Для чего нужен GitLab Runner?
4. Как называется файл для CI/CD в GitLab?
5. Что такое “ветка” в Git и почему переименовали master в main?

• Построение ландшафта инфраструктуры на примере Технология Vagrant
• Построение ландшафта облачной инфраструктуры с использованием HashiCorp Terraform
• Видео урок: On-premise Terraform
• Управление инфраструктурой на примере Сервис Ansible

• Добавляем DNS записи nodeN A 192.168.X.200+N в Настройка мастер сервера зоны corpX.un
• Обзор команд Технология VirtualBox
• Развертываем с использованием Технология Vagrant node1,2,3

• Сервис Ansible, модуль apt на примере openvpn, playbook docker (только слушатели), можно addusers.yml (для OpenVPN)
• Преподаватель импортирует систему Windows для тестирования OpenVPN
• C Использование ролей разворачиваем Пакет OpenVPN в конфигурации с Использование PAM аутентификации на node1,2,3 (не забыть про Управление таблицей маршрутизации на gate)
• Для подключения используем Сервис Keepalived в режиме Настройка балансировки нагрузки и corpX.ovpn (Настройка клиента) в windows или linux
• Можно добавить Сервис NAT для зрелищности

• Лабораторная работа 2.4

• Преподаватель демонстрирует установку docker на node1,2,3 с Использование playbook для Provision с использованием ansible в Vagrant

1. Что общего и в чем отличие между Ansible, Vagrant и Terraform?
2. Что означает термин Provision в Vagrant?
3. Что такое module, playbook, role в Ansible?
4. Назовите каталоги в роли Ansible
5. Что должно быть установлено на целевой системе для управления через Ansible?
6. Каким образом Vagrant управляет VM?
7. Как реализован Ansible provision в Vagrant?

• Технология Docker

• Преподаватель использует linux систему external-host для нагрузочного тестирования и демонстрирует “разработку” приложения на VM server
• Web сервер на shell (методически, для обсуждения кода, можно, для упрощения, удалить из него все за комментированные строки, но не сохранять. Так же, можно вывести в лог Пример HTTP диалога)
• Сервис INETD

• Через Настройка балансировки нагрузки в Keepalived предоставляем доступ снаружи

• wrk - a HTTP benchmarking tool

• Install Vegeta on Ubuntu 20.04
• github/tsenart/vegeta/releases
• https://val.bmstu.ru/unix/WWW/vegeta_12.12.0_linux_amd64.tar.gz

• ftp/tcp server failing (looping)

• duration=60s rate=400 выдерживают 10 экземпляров приложения
• в качестве external-host можно использовать gate

cmd> route add 172.16.1.0 mask 255.255.255.0 10.5.N.178

external-host# curl http://172.16.1.X

external-host# echo "GET http://172.16.1.X" | vegeta attack -duration=20s -rate=100 | vegeta report

server# tail -f /var/log/syslog

• Устанавливаем Технология Docker на server, и рассматриваем Создание образа для приложения вручную и образа из него (из под root)
• Рассматриваем Запуск в режиме демона и подключение к контейнеру
• Изучаем Процессы контейнера и системы и Анализ параметров запущенного контейнера (преподаватель, можно на node1, пока у всех ставится docker)

• Для удобства, выполнить Настройка командных интерпретаторов
• Используя Предоставление прав непривилегированным пользователям для gitlab-runner (пригодится для процесса CD в minikube), знакомимся с Создание образа для приложения с использованием Dockerfile

• Запуск в режиме демона и подключение к контейнеру несколько копий вручную, и, через Настройка балансировки нагрузки, повторяем нагрузочное тестирование (преподаватель)
• Знакомимся с docker-compose для запуска нескольких копий приложения (без sftp и vol)

Методически, достаточно показать на node1

• Создаем (Public, без README) проект webd
• Размещаем каталог webd в On-Premise gitlab пользуясь инструкцией к проекту (можно в теме 4.4)
• Включаем GitLab Docker Registry
• Cохраняем образ, используя Локальные репозитории
• Сервис NFS на server (преподаватель)
• Установка nfs клиента на node1,2,3 и монтирование /var/www
• Проверяем наличие, или устанавливаем Docker на node1,2,3
• Используя доступ к Локальные репозитории на node1,2,3 запускаем приложение

• Размещаем каталог webd в On-Premise gitlab пользуясь инструкцией к проекту
• Автоматизируем сборку образа используя Проверка синтаксиса и Пример shell docker GitLab CI/CD, не забыв назначить метки Gitlab Runner. Можно обсудить добавление переменных в проект и вывод их через env

• Модифицируем docker-compose для загрузки и запуска нескольких копий приложения и тестируем на server
• Используя Подключение через API скачиваем на node1,2,3 файл docker-compose запускаем несколько экземпляров приложения и, через Настройка балансировки нагрузки, повторяем нагрузочное тестирование
• Считаем, что пришлось делать “вручную”: выбирать узлы, монтировать nfs, загружать файл docker-compose, выяснять порты - выход: Система Kubernetes

1. Зачем нужен Docker?
2. Чем Docker отличается от LXC?
3. Из каких частей состоит имя образа?
4. Чем Docker контейнер отличается от Docker образа?
5. Как ПО в Docker контейнере может взаимодействовать с системой и другими контейнерами?
6. Зачем нужен Dockerfile?
7. Зачем “запихивать” сразу много инструкций в команду RUN?
8. Зачем нужен docker-compose?

• Система Kubernetes

• Может закончиться место на диске VM server и понадобиться Удаление архива установленных пакетов плюс отключение GitLab Prometheus или Расширение существующего логического тома
• Производим Установка minikube для gitlab-runner@server (для доступа к репозиторию, на нем же, понадобится включить Сервисы Gateway и routing)

• Настройка командных интерпретаторов (gitlab-runner@server)
• Изучаем Базовые объекты k8s
• Для понимания работы Ingress (понадобится в следующем курсе), настраиваем Nginx для доступа к приложению webd в minikube с хост системы
• Настраиваем Keepalived и тестируем Утилита curl
• Тестируем livenessProbe с extern-host

extern-host# cat /etc/hosts

...
172.16.1.X     webd.corpX.un

или

ext-host:~# echo "GET http://webd.corpX.un" | vegeta attack -duration=20s -rate=400 -connect-to webd.corpX.un:80:172.16.1.X:80 | vegeta report

• Автоматизируем deploy используя Пример shell Kubernetes GitLab CD (см. выше)
• Тестируем “выкатку” новой версии приложения через запрос несуществующего файла и Версии deployment
• Столкнувшись с необходимостью править версию в манифесте, рассмотрев вариант с envsubst в Пример shell Kubernetes, видим необходимость в Helm
• В финале, можно “закоммитить” новую версию приложения прямо в GitLab

• Почему Kubernetes часто обозначают K8s?
• Чем K8s отличается от Docker-Compose?
• Что используется для описания состояния объектов в K8s?
• Как связаны понятия Deployment, Replica Sets, Pods?
• Для чего используются Namespace?