User Tools
devops1._основные_инструменты
Differences
This shows you the differences between two versions of the page.
| Both sides previous revision Previous revision Next revision | Previous revision | ||
|
devops1._основные_инструменты [2023/09/17 20:25] val [Лабораторные работы: Тема лабораторных работ] |
devops1._основные_инструменты [2024/10/28 07:17] (current) val |
||
|---|---|---|---|
| Line 5: | Line 5: | ||
| * [[https://www.specialist.ru/course/kuber|DevOps. Уровень 1. Инфраструктура как код, основные инструменты]] | * [[https://www.specialist.ru/course/kuber|DevOps. Уровень 1. Инфраструктура как код, основные инструменты]] | ||
| * [[https://www.specialist.ru/track/dp-devops|ДП-ДЕВОПС-М]] | * [[https://www.specialist.ru/track/dp-devops|ДП-ДЕВОПС-М]] | ||
| + | |||
| + | * [[https://dzen.ru/a/ZVIBk2kT0ntemhwK|∞ Дорожная карта DevOps-инженера в 2023 году]] | ||
| ===== Модуль 0. Подготовка стенда в классе ===== | ===== Модуль 0. Подготовка стенда в классе ===== | ||
| Line 29: | Line 31: | ||
| cd | cd | ||
| + | |||
| + | test -d conf && rm -r conf | ||
| git clone http://val.bmstu.ru/unix/conf.git | git clone http://val.bmstu.ru/unix/conf.git | ||
| Line 40: | Line 44: | ||
| === 1.2 Настройка сети VM gate и server === | === 1.2 Настройка сети VM gate и server === | ||
| - | * !!! Добавить HDD 20GB к server | ||
| * [[Настройка стендов слушателей#Настройка виртуальных систем Unix]] с использованием [[Настройка стендов слушателей#Скрипты автоконфигурации]] | * [[Настройка стендов слушателей#Настройка виртуальных систем Unix]] с использованием [[Настройка стендов слушателей#Скрипты автоконфигурации]] | ||
| Line 61: | Line 64: | ||
| === 1.3 настройка сервиса DNS === | === 1.3 настройка сервиса DNS === | ||
| - | * [[Управление файловыми системами в Linux#Использование LVM]] | ||
| * [[Финальная настройка DNS сервера]] | * [[Финальная настройка DNS сервера]] | ||
| <code> | <code> | ||
| Line 82: | Line 84: | ||
| * !!! Заранее выполняем на server | * !!! Заранее выполняем на server | ||
| - | * [[Переменные окружения#Установка переменных окружения]] http_proxy, https_proxy и no_proxy | + | |
| * Установку [[Инструмент Gitea]] | * Установку [[Инструмент Gitea]] | ||
| * Установку [[Сервис JRE]] (и на gate) | * Установку [[Сервис JRE]] (и на gate) | ||
| * Установку [[Инструмент Jenkins]] !!! и установку плагинов !!! | * Установку [[Инструмент Jenkins]] !!! и установку плагинов !!! | ||
| + | |||
| * Установку [[Сервис Ansible]] | * Установку [[Сервис Ansible]] | ||
| * Cкачать deb пакет [[Инструмент GitLab#GitLab Runner]] | * Cкачать deb пакет [[Инструмент GitLab#GitLab Runner]] | ||
| Line 98: | Line 101: | ||
| - | ==== Лабораторные работы: От Git к GitLab ==== | + | ==== Лабораторные работы: От Git к CI/CD==== |
| === 2.1 Вспоминаем Git === | === 2.1 Вспоминаем Git === | ||
| Line 109: | Line 112: | ||
| * [[Сервис DHCP#Статистика DHCP сервера]] | * [[Сервис DHCP#Статистика DHCP сервера]] | ||
| * [[Установка ПО из исходных текстов#Использование утилиты make]] (установить) | * [[Установка ПО из исходных текстов#Использование утилиты make]] (установить) | ||
| - | * [[Модуль AppArmor#Определение наличия и правка профилей для служб]] !!! проверить, не качается ли что-то на server !!! | + | * [[Модуль AppArmor#Определение наличия и правка профилей для служб]] (удалить профиль) !!! перед перезагрузкой gate, проверить, не качается ли что-то на server !!! |
| <code> | <code> | ||
| gate# su - student | gate# su - student | ||
| </code> | </code> | ||
| * [[Установка ПО из исходных текстов#Использование make для сопровождения файлов конфигурации сервиса]] | * [[Установка ПО из исходных текстов#Использование make для сопровождения файлов конфигурации сервиса]] | ||
| - | * [[Сервис Git]] для каталога ~student/dhcp/ на gate | + | * [[Сервис Git]] для каталога ~student/dhcp/ на gate (лучше в следующей лабораторной) |
| === 2.2 Знакомимся с SCM Gitea === | === 2.2 Знакомимся с SCM Gitea === | ||
| Line 120: | Line 123: | ||
| * [[Инструмент Gitea]] | * [[Инструмент Gitea]] | ||
| * Подключаемся как student, Repository Name: dhcp | * Подключаемся как student, Repository Name: dhcp | ||
| - | * [[Сервис Git#Обновление сетевого репозитория из локального]] (копируем инструкции из посказки, ветка master) | + | * [[Сервис Git#Обновление сетевого репозитория из локального]] (копируем инструкции из подсказки) |
| * Редактируем dhcpd.conf в Gitea (Commit to master branch) | * Редактируем dhcpd.conf в Gitea (Commit to master branch) | ||
| Line 130: | Line 133: | ||
| * [[Инструмент Jenkins]] | * [[Инструмент Jenkins]] | ||
| - | * [[https://youtu.be/FeD6VBY2Xss|Вход в CI/CD для Linux-админа]] | ||
| === 2.4 Знакомимся с GitLab CI/CD === | === 2.4 Знакомимся с GitLab CI/CD === | ||
| - | * http://server.corpX.un/ | + | * [[https://youtu.be/FeD6VBY2Xss|Вебинар: Вход в CI/CD для Linux-админа]] |
| - | * Используем [[Инструмент GitLab#Управление пользователями]] в GitLab для отключения авто регистрации, назначении пароля пользователю root и создания учетной записи student | + | * [[https://habr.com/ru/articles/716454/|Статья: Самый простой пример CI/CD]] |
| - | * http://server.corpX.un:81/mail | + | * Установка [[Инструмент GitLab]] |
| + | * http://server.corpX.un/ | ||
| + | * Используем [[Инструмент GitLab#Управление пользователями]] в GitLab для назначении пароля пользователю root и создания учетной записи student (лучше назначить его администратором) | ||
| !!! в теме Ansible | !!! в теме Ansible | ||
| Line 145: | Line 149: | ||
| * Устанавливаем и регистрируем [[Инструмент GitLab#GitLab Runner]] (shell) на server | * Устанавливаем и регистрируем [[Инструмент GitLab#GitLab Runner]] (shell) на server | ||
| - | * Используя GitLab Pipeline Editor добавляем в [[Инструмент GitLab#Пример shell ansible]] Pipeline и наблюдаем выкатку в прод после Commit в master | + | * Используя GitLab Pipeline Editor добавляем в проект openvpn1 [[Инструмент GitLab#Пример shell ansible]] Pipeline и наблюдаем выкатку в прод после Commit в master/main |
| * Добавляем параметры dhcp-option,block-outside-dns и Commit в test с созданием Merge requests и наблюдаем выкатку в тестовую среду, проверяем работу сервиса в ней | * Добавляем параметры dhcp-option,block-outside-dns и Commit в test с созданием Merge requests и наблюдаем выкатку в тестовую среду, проверяем работу сервиса в ней | ||
| Line 166: | Line 170: | ||
| * Построение ландшафта инфраструктуры на примере [[Технология Vagrant]] | * Построение ландшафта инфраструктуры на примере [[Технология Vagrant]] | ||
| * Построение ландшафта облачной инфраструктуры с использованием [[https://ru.wikipedia.org/wiki/Terraform|HashiCorp Terraform]] | * Построение ландшафта облачной инфраструктуры с использованием [[https://ru.wikipedia.org/wiki/Terraform|HashiCorp Terraform]] | ||
| + | * Видео урок: [[On-premise Terraform]] | ||
| * Управление инфраструктурой на примере [[Сервис Ansible]] | * Управление инфраструктурой на примере [[Сервис Ansible]] | ||
| Line 179: | Line 184: | ||
| === 3.2 Использование Ansible === | === 3.2 Использование Ansible === | ||
| - | * [[Сервис Ansible]] openvpn, docker (только слушатели), можно addusers.yml для OpenVPN | + | * [[Сервис Ansible]], модуль apt на примере openvpn, playbook docker (только слушатели), можно addusers.yml (для OpenVPN) |
| * Преподаватель импортирует систему Windows для тестирования OpenVPN | * Преподаватель импортирует систему Windows для тестирования OpenVPN | ||
| - | * Разворачиваем [[Пакет OpenVPN]] в конфигурации с [[Пакет OpenVPN#Использование PAM аутентификации]] на node1,2,3 с [[Сервис Ansible#Использование ролей]] | + | * C [[Сервис Ansible#Использование ролей]] разворачиваем [[Пакет OpenVPN]] в конфигурации с [[Пакет OpenVPN#Использование PAM аутентификации]] на node1,2,3 (не забыть про [[Сервисы Gateway и routing#Управление таблицей маршрутизации]] на gate) |
| - | * Для подключения используем [[Сервис Keepalived]] в режиме [[Сервис Keepalived#Настройка балансировки нагрузки]] и client.ovpn ([[Пакет OpenVPN#Настройка клиента]]) в windows | + | * Для подключения используем [[Сервис Keepalived]] в режиме [[Сервис Keepalived#Настройка балансировки нагрузки]] и corpX.ovpn ([[Пакет OpenVPN#Настройка клиента]]) в windows или linux |
| * Можно добавить [[Сервис NAT]] для зрелищности | * Можно добавить [[Сервис NAT]] для зрелищности | ||
| Line 208: | Line 213: | ||
| === 4.1 Разработка и нагрузочное тестирование приложения webd === | === 4.1 Разработка и нагрузочное тестирование приложения webd === | ||
| - | * Преподаватель импортирует linux систему external-host для нагрузочного тестирования и демонстрирует "разработку" приложения на VM server | + | * Преподаватель использует linux систему external-host для нагрузочного тестирования и демонстрирует "разработку" приложения на VM server |
| * [[Средства программирования shell#Web сервер на shell]] (методически, для обсуждения кода, можно, для упрощения, удалить из него все за комментированные строки, но не сохранять. Так же, можно вывести в лог [[Сервис HTTP#Пример HTTP диалога]]) | * [[Средства программирования shell#Web сервер на shell]] (методически, для обсуждения кода, можно, для упрощения, удалить из него все за комментированные строки, но не сохранять. Так же, можно вывести в лог [[Сервис HTTP#Пример HTTP диалога]]) | ||
| * [[Сервис INETD]] | * [[Сервис INETD]] | ||
| * Через [[Сервис Keepalived#Настройка балансировки нагрузки]] в Keepalived предоставляем доступ снаружи | * Через [[Сервис Keepalived#Настройка балансировки нагрузки]] в Keepalived предоставляем доступ снаружи | ||
| + | |||
| + | * [[https://github.com/wg/wrk|wrk - a HTTP benchmarking tool]] | ||
| * [[https://lindevs.com/install-vegeta-on-ubuntu|Install Vegeta on Ubuntu 20.04]] | * [[https://lindevs.com/install-vegeta-on-ubuntu|Install Vegeta on Ubuntu 20.04]] | ||
| * [[https://github.com/tsenart/vegeta/releases|github/tsenart/vegeta/releases]] | * [[https://github.com/tsenart/vegeta/releases|github/tsenart/vegeta/releases]] | ||
| - | * [[https://val.bmstu.ru/unix/WWW/vegeta_12.11.0_linux_amd64.tar.gz]] | + | * [[https://val.bmstu.ru/unix/WWW/vegeta_12.12.0_linux_amd64.tar.gz]] |
| * [[https://serverfault.com/questions/389645/ftp-tcp-server-failing-looping|ftp/tcp server failing (looping)]] | * [[https://serverfault.com/questions/389645/ftp-tcp-server-failing-looping|ftp/tcp server failing (looping)]] | ||
| Line 223: | Line 230: | ||
| * в качестве external-host можно использовать gate | * в качестве external-host можно использовать gate | ||
| <code> | <code> | ||
| + | cmd> route add 172.16.1.0 mask 255.255.255.0 10.5.N.178 | ||
| + | |||
| external-host# curl http://172.16.1.X | external-host# curl http://172.16.1.X | ||
| - | external-host# echo "GET http://172.16.1.X" | vegeta attack -duration=60s -rate=400 | vegeta report | + | external-host# echo "GET http://172.16.1.X" | vegeta attack -duration=20s -rate=100 | vegeta report |
| server# tail -f /var/log/syslog | server# tail -f /var/log/syslog | ||
| Line 232: | Line 241: | ||
| === 4.2 Использование технологии Docker и docker-compose для масштабирования приложения webd на одном узле === | === 4.2 Использование технологии Docker и docker-compose для масштабирования приложения webd на одном узле === | ||
| - | * Устанавливаем [[Технология Docker]] на server, собираем образ приложения "вручную" из под root | + | * Устанавливаем [[Технология Docker]] на server, и рассматриваем [[Технология Docker#Создание контейнера для приложения вручную]] и образа из него (из под root) |
| - | * Изучаем [[Технология Docker#Процессы контейнера и системы]] и [[Технология Docker#Анализ параметров запущенного контейнера]] | + | * Рассматриваем [[Технология Docker#Запуск в режиме демона и подключение к контейнеру]] |
| + | * Изучаем [[Технология Docker#Процессы контейнера и системы]] и [[Технология Docker#Анализ параметров запущенного контейнера]] (преподаватель, можно на node1, пока у всех ставится docker) | ||
| - | * Используя [[Технология Docker#Предоставление прав непривилегированным пользователям]] и su - gitlab-runner (пригодится для процесса CD в minikube, для удобства работы выполнить [[Настройка командных интерпретаторов]]), знакомимся с [[Технология Docker#Создание контейнера для приложения с использованием Dockerfile]] | + | * Для удобства, выполнить [[Настройка командных интерпретаторов]] |
| + | * Используя [[Технология Docker#Предоставление прав непривилегированным пользователям]] для gitlab-runner (пригодится для процесса CD в minikube), знакомимся с [[Технология Docker#Создание контейнера для приложения с использованием Dockerfile]] | ||
| - | * [[Технология Docker#Запуск в режиме демона и подключение к контейнеру]] несколько копий вручную, и, через [[Сервис Keepalived#Настройка балансировки нагрузки]], повторяем нагрузочное тестирование | + | * [[Технология Docker#Запуск в режиме демона и подключение к контейнеру]] несколько копий вручную, и, через [[Сервис Keepalived#Настройка балансировки нагрузки]], повторяем нагрузочное тестирование (преподаватель) |
| - | * Знакомимся с [[Технология Docker#docker-compose]] для запуска нескольких копий приложения | + | * Знакомимся с [[Технология Docker#docker-compose]] для запуска нескольких копий приложения (без sftp и vol) |
| === 4.3 Использование технологии Docker Registry для распространения приложения webd === | === 4.3 Использование технологии Docker Registry для распространения приложения webd === | ||
| Line 244: | Line 255: | ||
| Методически, достаточно показать на node1 | Методически, достаточно показать на node1 | ||
| - | * Создаем (Public, без README) проект webd и размещаем каталог webd в [[Сервис Git#On-Premise gitlab]] пользуясь инструкцией к проекту | + | * Создаем (Public, без README) проект webd |
| + | * Размещаем каталог webd в [[Сервис Git#On-Premise gitlab]] пользуясь инструкцией к проекту (можно в теме 4.4) | ||
| * Включаем [[Инструмент GitLab#GitLab Docker Registry]] | * Включаем [[Инструмент GitLab#GitLab Docker Registry]] | ||
| * Cохраняем образ, используя [[Технология Docker#Локальные репозитории]] | * Cохраняем образ, используя [[Технология Docker#Локальные репозитории]] | ||
| * [[Сервис NFS]] на server (преподаватель) | * [[Сервис NFS]] на server (преподаватель) | ||
| * [[Сервис NFS#Установка nfs клиента]] на node1,2,3 и монтирование /var/www | * [[Сервис NFS#Установка nfs клиента]] на node1,2,3 и монтирование /var/www | ||
| - | * Проверяем наличие, или устанавливаем Docker на node1,2,3 | + | * Проверяем наличие, или [[Технология Docker#Установка|устанавливаем]] Docker на node1,2,3 |
| * Используя доступ к [[Технология Docker#Локальные репозитории]] на node1,2,3 запускаем приложение | * Используя доступ к [[Технология Docker#Локальные репозитории]] на node1,2,3 запускаем приложение | ||
| === 4.4 GitLab CI для Docker images === | === 4.4 GitLab CI для Docker images === | ||
| - | * Автоматизируем сборку образа используя [[Средства программирования shell#Проверка синтаксиса]] и [[Инструмент GitLab#Пример shell docker]] GitLab CI/CD, не забыв назначить метки Gitlab Runner. Можно обсудить добавление перемнных в проект и вывод их через env | + | * Размещаем каталог webd в [[Сервис Git#On-Premise gitlab]] пользуясь инструкцией к проекту |
| + | * Автоматизируем сборку образа используя [[Средства программирования shell#Проверка синтаксиса]] и [[Инструмент GitLab#Пример shell docker]] GitLab CI/CD, не забыв назначить метки Gitlab Runner. Можно обсудить добавление переменных в проект и вывод их через env | ||
| === 4.5 CD приложения webd с использованием docker-compose === | === 4.5 CD приложения webd с использованием docker-compose === | ||
| Line 286: | Line 299: | ||
| === 5.2 Базовые объекты k8s === | === 5.2 Базовые объекты k8s === | ||
| - | * Изучаем [[Система Kubernetes#Базовые объекты k8s]] | + | * [[Настройка командных интерпретаторов]] (gitlab-runner@server) |
| - | * Для понимания работы [[Система Kubernetes#Ingress]] (понадобится в следующем курсе), настраиваем [[Сервис HTTP#NGINX]] для доступа к приложению webd в minikube с хост системы | + | * Изучаем [[Система Kubernetes#Базовые объекты k8s]] |
| + | * Для понимания работы [[Система Kubernetes#Ingress]] (понадобится в следующем курсе), настраиваем [[Сервис HTTP#Прокси "красивого" URL в приложение (пример 3)|Nginx]] для доступа к приложению webd в minikube с хост системы | ||
| + | * Настраиваем [[Сервис Keepalived#Настройка балансировки нагрузки|Keepalived]] и тестируем [[Утилита curl]] | ||
| * Тестируем livenessProbe с extern-host | * Тестируем livenessProbe с extern-host | ||
| <code> | <code> | ||
| Line 294: | Line 309: | ||
| ... | ... | ||
| 172.16.1.X webd.corpX.un | 172.16.1.X webd.corpX.un | ||
| + | </code> | ||
| + | |||
| + | или | ||
| + | |||
| + | <code> | ||
| + | ext-host:~# echo "GET http://webd.corpX.un" | vegeta attack -duration=20s -rate=400 -connect-to webd.corpX.un:80:172.16.1.X:80 | vegeta report | ||
| </code> | </code> | ||
| === 5.3 Deploy в k8s === | === 5.3 Deploy в k8s === | ||
| - | * Автоматизируем deploy используя [[Инструмент GitLab#Пример shell Kubernetes]] GitLab CD, сталкиваемся с необходимостью править версию в манифесте, рассмотрев вариант envsubst видим необходимость в Helm | + | * Автоматизируем deploy используя [[Инструмент GitLab#Пример shell Kubernetes]] GitLab CD (см. выше) |
| + | * Тестируем "выкатку" новой версии приложения через запрос несуществующего файла и [[Система Kubernetes#Версии deployment]] | ||
| + | * Столкнувшись с необходимостью править версию в манифесте, рассмотрев вариант с envsubst в [[Инструмент GitLab#Пример shell Kubernetes]], видим необходимость в Helm | ||
| + | * В финале, можно "закоммитить" новую версию приложения прямо в GitLab | ||
| Line 308: | Line 332: | ||
| * Как связаны понятия Deployment, Replica Sets, Pods? | * Как связаны понятия Deployment, Replica Sets, Pods? | ||
| * Для чего используются Namespace? | * Для чего используются Namespace? | ||
| - | * Что общего и в чем различие между Service и Ingress? | ||
| - | * Что используется для подключения Pod к общим файлам? | ||
| - | * Для чего нужен Helm и что используется для его описания? | ||
| ===== Дополнительные материалы ===== | ===== Дополнительные материалы ===== | ||
devops1._основные_инструменты.1694971501.txt.gz · Last modified: 2023/09/17 20:25 by val
Page Tools
Except where otherwise noted, content on this wiki is licensed under the following license: CC Attribution-Share Alike 4.0 International
