Методические материалы Лохтурова Вячеслава

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
====== Самый простой пример CI/CD ======

  * [[https://habr.com/ru/post/716454/]]

Однажды подслушано:

- А... А что мы сейчас делаем?

- Деплой приложения.

- А что такое деплой?

- Деплой... Ну это деплой, что тут не понятного?

IMG_1

И действительно, для тех, кто в "теме", все очевидно - берем приложение на Python, заворачиваем в Docker, кладем в GitLab, выкатываем через CI/CD в Кubernetes. Но тем, кто только учится, с таким обилием незнакомых технологий, приходится нелегко. Можно сравнить с катанием на сноуборде - пока "голова" и "тело" не освоят сразу несколько неочевидных навыков - вдоволь "наваляешься":) Поэтому, и в сноуборде, и в любом другом виде спорта есть "подводящие" упражнения и я хочу предложить сегодня одно из таких. 

В этой статье я буду отталкиваться от бытующего мнения, что в "девопсы" чаще всего идут системные администраторы, поэтому, вместо программы на Python возьмём какой-нибудь популярный сервис, например proxy Squid, поместим его конфигурацию в GitLab и настроим CI/CD тестирование и применение изменений конфигурации на сервере. Чтобы руководство было воспроизводимым, опишу все необходимые шаги для развертывания стенда в домашних условиях с использованием виртуальной машины (VM) в VirtualBox.

===== Шаг 1. Развертывание VM =====

Скачайте и установите VirtualBox: 

https://www.virtualbox.org/wiki/Downloads

Создайте VM, подключив к ней образ дистрибутива, например: 

https://www.debian.org/download

Или, можно воспользоваться готовым образом, например моим: 

https://val.bmstu.ru/unix/img/My%20Documents/debian_11.1_64_01.ova

В настройках системы назначьте не менее 4096 МБ основной памяти (4GB RAM), подключите сетевой адаптер "мостом" к сетевой карте Вашего компьютера (хост системы), и запустите VM.

Проведите инсталляцию системы, в большинстве экранов можно оставить значения по умолчанию (GUI не обязателен) установите сервис SSH. Можно оставить вариант автоматического (через сервис dhcp) назначения ip параметров. После финальной перезагрузки, подключитесь к консоли системы и узнайте назначенный ей ip адрес командой ip a.

Если используете мой образ, то нужно подключиться к VM после запуска (учетная запись student/password), поднять привилегии, настроить получение ip параметров по dhcp, активировать интерфейс и выяснить назначенный системе ip, выполнив команды:

<code>
student@debian:~$ sudo -i

debian:~# nano /etc/network/interfaces
</code><code>
auto lo
iface lo inet loopback

auto eth0
iface eth0 inet dhcp
</code><code>
debian:~# ifup eth0

debian:~# echo 127.0.1.1 $(hostname) >> /etc/hosts
</code>

Последняя инструкция дана для исключения предупреждений о невозможности получить ip по hostname сервисов sudo и proxy Squid (выполнить ее можно на 2-м шаге, скопировав после подключения к VM по SSH).


===== Шаг 2. Разворачиваем сервис Squid =====

Для удобства копирования команд из статьи, подключитесь к VM используя SSH клиент. Если у Вас Windows на домашнем компьютере, можно использовать PuTTY:

https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html


Установите Squid, отредактируйте файлы конфигурации (для нашего примера будет удобно использовать вариант, при котором proxy будет "пускать" только на определенные сайты, что позволит легко протестировать работу сервиса), убедитесь в отсутствии синтаксических ошибок и перезапустите сервис, выполнив команды:

<code>
student@debian:~$ sudo -i

debian:~# apt update

debian:~# apt install squid -y

debian:~# nano /etc/squid/permit_domains.txt
</code><code>
.debian.org
.linux.org.ru
</code><code>
debian:~# nano /etc/squid/conf.d/my.conf
</code><code>
acl permit_domains dstdomain "/etc/squid/permit_domains.txt"
http_access allow permit_domains
</code><code>
debian:~# squid -k check

debian:~# squid -k reconfigure
</code>

Для тестирования сервиса настройте браузер на хост системе, например, Firefox 

https://www.mozilla.org/ru/firefox/new/

указав ip адрес Вашей VM (здесь и далее, замените 192.168.1.102 на тот, который у Вас)

IMG_2

В результате должны "открываться" только сайты, перечисленные в файле permit_domains.txt

===== Шаг 3. Устанавливаем GitLab ===== 

Установите GitLab, используя официальное руководство

https://about.gitlab.com/install/#debian

или набор команд ниже, не забыв исправить ip адрес в EXTERNAL_URL на Ваш:

<code>
debian:~# apt install -y curl ca-certificates perl

debian:~# curl https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.deb.sh | bash

debian:~# EXTERNAL_URL="http://192.168.1.102" apt-get install gitlab-ce
</code>

Подключаемся к GitLab в браузере с хост машины, по указанному при инсталляции EXTERNAL_URL, учетной записью root и паролем, который нужно скопировать из файла:

<code>
debian:~# cat /etc/gitlab/initial_root_password
</code>

В разделе "Admin->Users->New User" создайте нового пользователя (предлагаю, тоже student) задав атрибуты

<code>
Name: student
Username: student
Email: student@localhost
</code>

Для упрощения примера, не будем настраивать электронную почту в VM, поэтому, сразу после создания ("Create User") учетной записи, перейдите в ее редактирования ("Edit"), придумайте, запомните и дважды укажите пароль (потребуют хороший пароль:) после чего, сохраните изменения ("Save сhanges")

Подключитесь новой учётной записью (на предложение указать новый пароль можно ввести предыдущий)

===== Шаг 4. Размещаем конфигурацию proxy сервера в GitLab =====
 
Создаем новый проект "Create a project"->"Create blank project"

Указываем Project name: squid project и убираем "галочку" "Initialize repository with a README", поскольку будем загружать репозиторий, который создадим на следующем шаге.

Выполняем инструкции из подсказки в разделе "Push an existing folder", задав в начале git параметр user.email

<code>
debian:~# git config --global user.email student@localhost

debian:~# cd /etc/squid/

debian:/etc/squid# git init --initial-branch=main

debian:/etc/squid# git remote add origin http://192.168.1.102/student/squid-project.git

debian:/etc/squid# git add .

debian:/etc/squid# git commit -m "Initial commit"

debian:/etc/squid# git push -u origin main
</code>

"Щелкнув" по названию проекта убедитесь, что все файлы из каталога /etc/squid появились в GitLab. Для изменения файлов конфигурации теперь можно не подключаться через SSH к VM с сервисом Squid, а отредактировать их прямо здесь через "Web IDE". Остается вопрос, как эти изменения попадут в VM с сервисом Squid?

===== Шаг 5. GitLab Runner =====

Установите GitLab Runner, используя официальное руководство:

https://docs.gitlab.com/runner/install/linux-manually.html

или набор команд ниже: 

<code>
debian:~# curl -LJO "https://gitlab-runner-downloads.s3.amazonaws.com/latest/deb/gitlab-runner_amd64.deb"

debian:~# dpkg -i gitlab-runner_amd64.deb
</code>

Если первая команда работает слишком долго, можно скачать старую версию с моего сайта, для нашего примера она подойдет:

<code>
debian:~# wget http://val.bmstu.ru/unix/Git/gitlab-runner_amd64.deb
</code>

Разрешим пользователю gitlab-runner выполнять команды с повышенными привилегиями, необходимые для тестирования, копирования и применения новой конфигурации proxy:
<code>
debian:~# nano /etc/sudoers.d/squid-sudo
</code><code>
gitlab-runner ALL=NOPASSWD: /bin/cp -r ./* /etc/squid/, /usr/sbin/squid -k *
</code>

Проверим, все ли работает. Для этого добавьте домен какого-нибудь сайта в файл permit_domains.txt используя “Web IDE” в GitLab и выполните Commit изменений в ветку main. Далее, с правами пользователя gitlab-runner, склонируйте проект, зайдите в его каталог и выполните команды тестирования, копирования и применения новой конфигурации:

<code>
debian:~# su - gitlab-runner

gitlab-runner@debian:~$ git clone http://192.168.1.102/student/squid-project.git

gitlab-runner@debian:~$ cd squid-project/

gitlab-runner@debian:~/squid-project$ sudo /usr/sbin/squid -k check -f conf.d/my.conf

gitlab-runner@debian:~/squid-project$ sudo /bin/cp -r ./* /etc/squid/

gitlab-runner@debian:~/squid-project$ sudo /usr/sbin/squid -k reconfigure
</code>

Если новый сайт открывается, значит все готово к автоматизации!

===== Шаг 6. GitLab CI/CD =====

Зарегистрируйте GitLab Runner в GitLab. Для этого, подключитесь к GitLab учетной записью root (см. Шаг 3) а в командной строке запустите процесс регистрации:

<code>
debian:~# gitlab-runner register
</code>

укажите http://localhost/ в качестве "GitLab instance URL"

<code>
Enter the GitLab instance URL (for example, https://gitlab.com/):
http://localhost/
</code>

в GitLab в разделе Admin->CI/CD->Runners нажмите на кнопку "Register an instance runner" скопируйте и вставьте в командную строку "registration token"

<code>
Enter the registration token:
xxxxxxxxxxxxxx-xxxxxxx
</code>

оставьте значение поля "description" без изменений

<code>
Enter a description for the runner:
[debian]:
</code>

в качестве списка "tags" укажите единственное значение squid-tag, оно нам скоро пригодится

<code>
Enter tags for the runner (comma-separated):
squid-tag
</code>

оставьте "optional maintenance" без изменений, на WARNING не будем обращать внимание (хотя скоро статью придется переписывать:), главное - наличие сообщения о успешной регистрации

<code>
Enter optional maintenance note for the runner:

WARNING: ...
Registering runner... succeeded                     runner=oDSeAdUz
</code>

в качестве "executor" выберите shell (начнем с него:)
<code>
Enter an executor: docker-ssh, virtualbox, instance, docker-ssh+machine, kubernetes, custom, docker, parallels, shell, ssh, docker+machine:
shell
</code>

Убедитесь что в GitLab, в разделе разделе Admin->CI/CD->Runners наш Runner находится в режиме Online и снова подключитесь к нему учетной записью student

В проекте "squid project" зайдите в раздел CI/CD->Editor и нажмите на кнопку "Configure Pipeline"

Замените текст Pipeline на этот:

<code>
stages:
  - test
  - deploy

test1-job:
  stage: test
  script:
    - sudo /usr/sbin/squid -k check -f conf.d/my.conf
  tags:
    - squid-tag

deploy1-job:
  stage: deploy
  script:
    - sudo /bin/cp -r ./* /etc/squid/
    - sudo /usr/sbin/squid -k reconfigure
  tags:
    - squid-tag
</code>

и нажмите на кнопку "Commit Changes".

Добавьте домен еще какого-нибудь сайта в файл permit_domains.txt используя “Web IDE” в GitLab и выполните Commit изменений в ветку main.

Убедитесь, что в разделе CI/CD->Pipelines проекта значение Status установилось в passed, в браузере открывается новый сайт, а добавленный домен присутствует в файле: 

<code>
debian:~# cat /etc/squid/permit_domains.txt
</code>

Если так, поздравляю, Вы только что написали свой первый CI/CD Pipeline!
===== Итоги =====

Такой вот "игрушечный" деплой, от которого можно оттолкнуться в сторону настоящих "DevOps" решений. Если что-то нужно уточнить, обращайтесь в комментариях!

На этом все, спасибо, что дочитали до конца, если такой подход к обучению DevOps технологиям вызовет интерес, напишу аналогичные статьи по ansible, docker, k8s и прочим!
Методические материалы Лохтурова Вячеслава

User Tools

Site Tools

Page Tools
