Методические материалы Лохтурова Вячеслава

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
====== Создание отказоустойчивых UNIX решений ======

===== Программа курса =====

  * [[http://www.specialist.ru/course/un5|Linux/FreeBSD. Уровень 3. Создание отказоустойчивых кластерных решений]]

===== Часть 1. Повышение отказоустойчивости сетей =====

===== Модуль 1. Начальная настройка стенда =====

==== Теория ====

  * [[https://ru.wikipedia.org/wiki/%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%B1%D0%B5%D0%B7%D0%BE%D1%82%D0%BA%D0%B0%D0%B7%D0%BD%D0%BE%D0%B9_%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%8B|Вероятность безотказной работы]]
==== Настройка систем ====

  * Адаптер 1 - Внутренняя сеть (LAN)
  * Адаптер 2 - Сетевой мост (ISP1)
  * Адаптер 3 - Сетевой мост (класс)
  * Адаптер 4 - Сетевой мост (ISP2)
  * Добавить жесткий диск 2Gb

=== FreeBSD/Ubuntu ===
<code>
[nodeN:~] # cat /etc/resolv.conf
</code><code>
domain corpX.un
nameserver 10.Z.M.125
</code><code>
[nodeN:~] # cat /etc/hosts
</code><code>
127.0.0.1               localhost localhost.corpX.un

192.168.X.1             node1.corpX.un node1
192.168.X.2             node2.corpX.un node2

10.5.1.254              proxy
</code>

=== Ubuntu ===
<code>
root@nodeN:~# cat /etc/network/interfaces
</code><code>
auto lo
iface lo inet loopback

auto eth0
iface eth0 inet static
        address 192.168.X.N
        netmask 255.255.255.0

auto eth1
iface eth1 inet manual
        up ip link set eth1 up

auto eth2
iface eth2 inet static
        address 10.5.1.N*100+X
        netmask 255.255.255.0

auto eth3
iface eth3 inet manual
        up ip link set eth3 up
</code><code>
root@nodeN:~# cat /etc/hostname
</code><code>
nodeN.corpX.un
</code><code>
[nodeN:~] # cat /etc/sysctl.conf
</code><code>
...
net.ipv4.ip_forward=1
...
</code><code>
[nodeN:~] # cat .bashrc
</code><code>
...
export http_proxy=http://proxy:3128/
...
</code><code>
root@nodeN:~# init 6

...

root@nodeN:~# apt update
</code>

=== FreeBSD ===
<code>
[nodeN:~] # cat /etc/rc.conf.local
</code><code>
hostname="nodeN.corpX.un"
ifconfig_em0="inet 192.168.X.N/24"
ifconfig_em1="up"
ifconfig_em2="inet 10.5.1.N*100+X/24"
ifconfig_em3="up"
</code><code>
[nodeN:~] # cat /etc/rc.conf
</code><code>
gateway_enable="YES"
sshd_enable="YES"
</code><code>
[nodeN:~] # cat .cshrc
</code><code>
...
setenv  HTTP_PROXY http://proxy:3128
...
</code><code>
[nodeN:~] # init 6

...

[nodeN:~] # pkg update -f

[nodeN:~] # pkg install pkg
</code>

=== Проверки ===
<code>
nodeN# ping node1

nodeN# ping node2

nodeN# ping proxy
</code>

===== Модуль 2. Синхронизация файлов конфигураций узлов =====

==== С использованием сервиса SSH ===

  * Настройка доступа по протоколу ssh пользователя root с node1 на node2 ([[Сервис SSH#Разрешение доступа пользователя root на основании адреса клиента]])
  * Настройка безпарольного доступа пользователя root с node1 на node2 ([[Сервис SSH#Аутентификация с использованием ключей ssh]])

<code>
node1# ssh-keygen
...
Enter passphrase (empty for no passphrase): Пароль на ключ пустой!!!
...

node1# ssh-copy-id -i .ssh/id_rsa.pub node2
</code>

Проверка:

<code>
node1# scp /etc/hosts node2:/etc/
</code>

==== С использованием пакета CSYNC2 ====

  * [[Финальная настройка DNS сервера]] (устанавливаем и ЗАПУСКАЕМ на двух узлаx, настраиваем на node1)
  * [[Сервис NTP]]
  * [[Пакет CSYNC2]]

=== Тестирование ===

  * Добавить запись в DNS на сервер node1 (www A 192.168.X.10) и, не перезапуская, bind 

<code>
node1# csync2 -xvv
</code>
===== Модуль 3. Отказоустойчивый сервис DHCP =====

  * [[Сервис DHCP#Установка]] cервиса DHCP
  * [[Сервис DHCP#Отказоустойчивая конфигурация]] cервиса DHCP
  * [[Сервис DHCP#Проверка конфигурации и запуск]] cервиса DHCP
  * [[Сервис DHCP#Мониторинг выданных адресов]] cервиса DHCP
 
Примечания:

  * В качестве шлюза указан не существующий ip адрес 192.168.X.254, он будет назначаться в следующей лабораторной работе.
  * В первый момент необходимо запустить оба сервера чтобы они синхронизировались.

Проверка:

  * Перезагружаем Windows client1 по очереди останавливая и запуская серверы. Должен выдаваться один и тот же адрес (можно отключать интерфейс Windows, ipconfig /renew не использовать)

Вывод сообщений об ошибках:
 
<code>
freebsd# tail -f /var/log/messages

linux# tail -f /var/log/syslog
</code>

===== Модуль 4. Отказоустойчивый шлюз =====

==== Отказоустойчивый gate ====

  * [[Протокол CARP]]

==== Отказоустойчивый nat ====

Сценарий:

  * Настроить NAT трансляцию для сети 192.168.X/24 в реальный адрес ISP ([[Сервис NAT]])
  * Модифицировать скрипты up и down с целью назначения/удаления реального адреса ISP на внешнем интерфейсе и указания маршрута по умолчанию через провайдера для мастер узла и через мастер узел для резервного.

=== Ubuntu ===
<code>
root@nodeN:~# apt install fake

root@nodeN:~# cat /usr/share/ucarp/vip-up
</code><code>
#!/bin/sh

/sbin/ifup $1:ucarp

ip addr add 172.16.1.X/24 dev eth1
send_arp 172.16.1.X `cat /sys/class/net/eth1/address` 172.16.1.254 ff:ff:ff:ff:ff:ff eth1
route delete default
route add default gw 172.16.1.254
</code><code>
root@nodeN:~# cat /usr/share/ucarp/vip-down
</code><code>
#!/bin/sh

/sbin/ifdown $1:ucarp

ip addr del 172.16.1.X/24 dev eth1
route delete default
route add default gw 192.168.X.254
</code>
 
=== FreeBSD ===

<code>
[nodeN:~] # cat /usr/local/sbin/ucarp-up
</code><code>
#!/bin/sh

/sbin/ifconfig "$1" alias "$2" netmask 255.255.255.255
/sbin/ifconfig em1 inet 172.16.1.X/24 alias
/sbin/route delete default
/sbin/route add default 172.16.1.254
</code><code>
[nodeN:~] # cat /usr/local/sbin/ucarp-down
</code><code>
#!/bin/sh

/sbin/ifconfig "$1" -alias "$2"
/sbin/ifconfig em1 inet 172.16.1.X/24 -alias
/sbin/route delete default
/sbin/route add default 192.168.X.254
</code>


===== Модуль 5. Балансировка нагрузки и отказоустойчивость при использовании 2-x ISP =====

==== Добавление сетевых карт для подключения к ISP2 ====

  * eth3 isp2              bridge to nic 172.16.2/24

=== FreeBSD ===

<code>
[nodeN:~] # cat /etc/rc.conf
</code><code>
...
ifconfig_em3="up"
...
</code>


=== Linux ===

<code>
root@nodeN:~# cat /etc/network/interfaces
</code><code>
...
auto eth3
iface eth3 inet manual
        up ip link set eth3 up
</code>

==== Модификация настроек dns сервера ====
<code>
# cat named.conf
</code><code>
...
        forwarders {
                172.16.1.254;
                172.16.2.254;
        };
...
</code>

==== Использование маршрута по умолчанию для выбора ISP ====

=== Ubuntu ===
<code>
nodeN# cat /usr/share/ucarp/vip-up
</code><code>
#!/bin/sh
...
ip addr add 172.16.2.X/24 dev eth3
send_arp 172.16.2.X `cat /sys/class/net/eth3/address` 172.16.2.254 ff:ff:ff:ff:ff:ff eth3
...
#route add default gw 172.16.1.254
</code><code>
nodeN# cat /usr/share/ucarp/vip-down
</code><code>
...
ip addr del 172.16.2.X/24 dev eth3
...
</code>

=== FreeBSD ===
<code>
nodeN# cat /usr/local/sbin/ucarp-up
</code><code>
...
/sbin/ifconfig em3 inet 172.16.2.X/24 alias
...
#/sbin/route add default 172.16.1.254
</code><code>
nodeN# cat /usr/local/sbin/ucarp-down
</code><code>
...
/sbin/ifconfig em3 inet 172.16.2.X/24 -alias
...
</code>
==== Использование PBR для балансировки нагрузки ====

  * PBR с использованием [[Сервисы Gateway и routing#PF (FreeBSD)]]
  * PBR с использованием [[Сервисы Gateway и routing#NetFilter iproute2 (Linux)]]

==== Автоматизация балансировки/отказоустойчивости выбора ISP ====

=== Lunix/Ubuntu ===

<code>
nodeN# cat /usr/share/ucarp/vip-up
</code><code>
...
ip route add default via 172.16.1.254 table 101
ip route add default via 172.16.2.254 table 102

echo > /tmp/conf_name
</code><code>
nodeN# cat isp1_isp2.sh
</code><code>
#!/bin/sh

ip rule del from 192.168.X/24 to 192.168.X/24 table main
while ip rule del from any table 101;do true;done
while ip rule del from any table 102;do true;done

ip rule add from 192.168.X.0/25 table 101
ip rule add from 192.168.X.128/25 table 102
ip rule add from 192.168.X/24 to 192.168.X/24 table main

/sbin/ip route flush cache
/usr/sbin/conntrack -F
</code><code>
nodeN# cat isp1.sh
</code><code>
#!/bin/sh
ip rule del from 192.168.X/24 to 192.168.X/24 table main
while ip rule del from any table 101;do true;done
while ip rule del from any table 102;do true;done

ip rule add from 192.168.X.0/24 table 101
ip rule add from 192.168.X/24 to 192.168.X/24 table main

/sbin/ip route flush cache
/usr/sbin/conntrack -F
</code><code>
nodeN# cat isp2.sh
</code><code>
#!/bin/sh
ip rule del from 192.168.X/24 to 192.168.X/24 table main
while ip rule del from any table 101;do true;done
while ip rule del from any table 102;do true;done

ip rule add from 192.168.X.0/24 table 102
ip rule add from 192.168.X/24 to 192.168.X/24 table main

/sbin/ip route flush cache
/usr/sbin/conntrack -F
</code>

=== FreeBSD ===
<code>
nodeN# cat /etc/pf.conf
</code><code>
table <ISP1> persist
table <ISP2> persist

nat on em1 from 192.168.X/24 to any -> 172.16.1.X
nat on em3 from 192.168.X/24 to any -> 172.16.2.X

pass in quick on em0 from 192.168.X.0/24 to 192.168.X.0/24
pass in on em0 route-to (em1 172.16.1.254) from <ISP1> to any
pass in on em0 route-to (em3 172.16.2.254) from <ISP2> to any
</code><code>
nodeN# cat isp1_isp2.sh
</code><code>
#!/bin/sh

/sbin/pfctl -t ISP1 -T flush
/sbin/pfctl -t ISP2 -T flush

/sbin/pfctl -t ISP1 -T add 192.168.X.0/25
/sbin/pfctl -t ISP2 -T add 192.168.X.128/25

/sbin/pfctl -F state
</code><code>
nodeN# cat isp1.sh
</code><code>
#!/bin/sh

/sbin/pfctl -t ISP1 -T flush
/sbin/pfctl -t ISP2 -T flush

/sbin/pfctl -t ISP1 -T add 192.168.X.0/24

/sbin/pfctl -F state
</code><code>
nodeN# cat isp2.sh
</code><code>
#!/bin/sh

/sbin/pfctl -t ISP1 -T flush
/sbin/pfctl -t ISP2 -T flush

/sbin/pfctl -t ISP2 -T add 192.168.X.0/24

/sbin/pfctl -F state
</code>

=== Ubuntu/FreeBSD ===

<code>
nodeN# cat select_isp.sh
</code><code>
#!/bin/sh

export PATH=/bin:/sbin:/usr/bin:/usr/sbin:$PATH

ifconfig | grep -q 192.168.X.254 || exit 0

route delete default

# route add default gw 172.16.1.254 2>/dev/null || exit 0
# route add default 172.16.1.254 2>/dev/null || exit 0

ping -c3 ya.ru >/dev/null 2>&1
ALIVE1=$?

route delete default

# route add default gw 172.16.2.254
# route add default 172.16.2.254

ping -c3 ya.ru >/dev/null 2>&1
ALIVE2=$?

test $ALIVE1 -eq 0 && conf_name="isp1.sh"
test $ALIVE2 -eq 0 && conf_name="isp2.sh"
test $ALIVE1 -eq 0 && test $ALIVE2 -eq 0 && conf_name="isp1_isp2.sh"

# echo /root/$conf_name
# exit 0

touch /tmp/conf_name
test $conf_name = "`cat /tmp/conf_name`" && exit 0

echo $conf_name > /tmp/conf_name

eval /root/$conf_name
</code><code>
nodeN# crontab -l
</code><code>
* * * * * /root/select_isp.sh >/dev/null 2>&1
</code><code>
nodeN# pfctl -t ISP1 -T show
nodeN# pfctl -t ISP1 -T show
</code>
===== Часть 2. Повышение отказоустойчивости информационных систем =====

  * [[http://www.team.ru/server/stbl_compare.shtml|Сравнение кластера надежности и "обычного" сервера]]
  * [[https://ru.wikipedia.org/wiki/%D0%9E%D1%82%D0%BA%D0%B0%D0%B7%D0%BE%D1%83%D1%81%D1%82%D0%BE%D0%B9%D1%87%D0%B8%D0%B2%D1%8B%D0%B9_%D0%BA%D0%BB%D0%B0%D1%81%D1%82%D0%B5%D1%80|Отказоустойчивый кластер]]
===== Модуль 6. Отказоустойчивый www хостинг =====

==== Сценарий ====

  * Содержимое домашних каталогов мастер сервера периодически копируется на резервный. 
  * В случае временной остановки или выхода из строя главного сервера автоматически становится доступным резервный. 
  * Не преднамеренный запуск мастер сервера не должен менять ролей серверов.

==== Реализация без автоматического переключения с основного узла на резервный ====

=== Подготовка стенда ===

  * В зону corpX.un добавляем запись www A 192.168.X.10

<code>
node1# cat corpX.un
</code><code>
...
www     A       192.168.X.10
</code><code>
node1# csync2 -xvv
</code>

  * На обоих узлах создаем пользователя user1 с uid=10001 ([[Управление учетными записями в Linux]], [[Управление учетными записями в FreeBSD]])
  * На обоих узлах [[Сервис HTTP#Установка и запуск сервера Apache]] с [[Сервис HTTP#Использование домашних каталогов]])
  * Yстанавливаем сервер ftp на node1 и запускаем его ([[Сервис FTP#Сервер ftp]])
  * Создаем тестовую www страницу для пользователя user1 используя протокол ftp на node1

=== Синхронизация пользовательских данных ===

  * [[Пакет RSYNC]]
  * [[Планирование выполнения заданий в Linux]], [[Планирование выполнения заданий в FreeBSD]]
==== Автоматизация смены ролей узлов НА кластера ====

=== Подготовка стенда ===

  * Устанавливаем ftp сервис на node2 ([[Сервис FTP#Сервер ftp]])
  * На обоих узлах отключаем автоматический запуск ftp сервиса ([[Управление сервисами в Linux]])
 
<code>
nodeN# service proftpd stop

nodeN# update-rc.d -f proftpd remove
или
nodeN# systemctl disable proftpd
</code>

  * Представим, что узлы соединены кросс кабелем через eth2 интерфейсы

=== Настройка кластера ===

  * С использованием [[Пакет HEARTBEAT]]

Дополнительные задания:

  * Настроить автоматическую синхронизацию домашних каталогов с мастер узла на резервный с использованием сети кросс кабеля.
  * Запустить rsync на node1

Указываем в файле /etc/hosts имя slave указывающее на соседний сервер
<code>
node1# cat /etc/hosts
</code><code>
...
10.M.Z.200+X slave
...
</code><code>
node2# cat /etc/hosts
</code><code>
...
10.M.Z.100+X slave
...
</code>
Устанавливаем на node1 [[Пакет RSYNC]]
<code>
nodeN# cat /CHANGE/DIR/rsyncd.conf
...
        hosts allow = slave

nodeN# rsync slave::home

nodeN# crontab -l
</code>
FreeBSD
<code>
* * * * * ps ax | grep -v grep | grep -q 'ftpd -D' && /usr/local/bin/rsync -a /home/ slave::home
</code>
Ubuntu
<code>
* * * * * ps ax | grep -v grep | grep -q 'proftpd: (accepting connections)' && /usr/bin/rsync -a /home/ slave::home
</code>
===== Модуль 7. Отказоустойчивый файловый сервер SAN iSCSI, NAS SMB/CIFS =====

!!! Проверять на отказоустойчивость по окончании синхронизации

**Сценарий**: Создаем отказоустойчивый корпоративный файловый сервер. Первый узел кластера должен использоваться сервером по умолчанию.

==== 7.1 Подготовка стенда ====

  * Подключаем к обоим узлам по дополнительному диску 

==== 7.2 Синхронизация файловых систем =====

  * [[Решение DRBD]]
  * [[Решение HAST]]

==== 7.3 Интеграция синхронизации ФС с пакетом heartbeat ====

=== Подготовка стенда ===

  * Останавливаем heartbeat

=== Настройка ===

  * [[Решение DRBD#DRBD и Heartbeat]]
  * [[Решение HAST#HAST и Heartbeat]]

=== Тестирование ===
  * Останавливаем node1
  * Перезагружаем node2
  * Загружаем node1
  * Дожидаемся окончания синхронизации
==== 7.4 Настройка SAN сервера iSCSI ====

  * В зону corpX.un добавляем запись iscsi A 192.168.X.15

<code>
node1# cat corpX.un
</code><code>
...
iscsi     A       192.168.X.15
</code><code>
node1# csync2 -x
</code>

  * Определяем, на каком узле смонтирован зеркалируемый раздел
  * Устанавливаем на оба узла пакет [[Сервис iSCSI#iSCSI target]]
  * Отключаем авто запуск сервиса

=== Ubuntu Heartbeat ===
<code>
nodeN# update-rc.d -f iscsitarget remove
или
nodeN# systemctl disable iscsitarget

root@nodeN:~# service heartbeat stop

root@nodeN:~# cat /etc/ha.d/haresources
</code><code>
node2.corpX.un \
        drbddisk \
        Filesystem::/dev/drbd0::/disk2::ext4 \
        IPaddr2::192.168.X.15/32/eth0 \
        iscsiserv
</code><code>
root@nodeN:~# cat /etc/ha.d/resource.d/iscsiserv
</code><code>
#!/bin/sh

case $1 in
start)
        service iscsitarget start
        ;;
stop)
        service iscsitarget stop
        ;;
esac

exit 0
</code><code>
root@nodeN:~# chmod +x /etc/ha.d/resource.d/iscsiserv

root@nodeN:~# service heartbeat start
</code>

=== FreeBSD Heartbeat ===
<code>
[nodeN:~] # service heartbeat stop

[nodeN:~] # cat /usr/local/etc/ha.d/haresources
</code><code>
node2.corpX.un \
    hast \
    IPaddr::192.168.X.15/32 \
    iscsiserv
</code><code>
[nodeN:~] # cat /usr/local/etc/ha.d/resource.d/iscsiserv
</code><code>
#!/bin/sh

case $1 in
start)
        sleep 10
        service istgt onestart
        ;;
stop)
        service istgt onestop
        ;;
esac

exit 0
</code><code>
[nodeN:~] # chmod +x /usr/local/etc/ha.d/resource.d/iscsiserv

[nodeN:~] # service heartbeat start
</code>

  * Настраиваем [[Сервис iSCSI#iSCSI initiator]] для Windows 7

==== 7.5 Настройка NAS сервера SMB/CIFS ====

  * В зону corpX.un добавляем запись samba A 192.168.X.20

<code>
node1# cat corpX.un
</code><code>
...
samba     A       192.168.X.20
</code><code>
node1# csync2 -x
</code>

  * Устанавливаем на оба узла пакет samba ([[Файловый сервер SAMBA]])

=== FreeBSD ===

  * В /etc/rc.conf ничего не добавлять

=== Ubuntu/Debian ===

  * Для Ubuntu отключаем автоматический запуск сервиса

<code>
root@nodeN:~# service smbd stop
root@nodeN:~# service nmbd stop

root@nodeN:~# echo manual > /etc/init/smbd.override
root@nodeN:~# echo manual > /etc/init/nmbd.override
  или
root@nodeN:~# systemctl disable smbd
root@nodeN:~# systemctl disable nmbd
</code>
  * Настраиваем на МАСТЕР узле [[Файловый сервер SAMBA#Публичный каталог доступный на запись]] в каталоге /disk2/samba
  * Копируем на BACKUP узел файл конфигурации samba
  * Настраиваем менеджер кластера на монтирование на мастер узле зеркалируемого раздела в каталог /disk2, назначение ip адреса 192.168.X.20 и запуск сервера samba

=== Ubuntu Heartbeat ===
<code>
root@nodeN:~# service heartbeat stop

root@nodeN:~# cat /etc/ha.d/haresources
</code><code>
node1.corpX.un \
        drbddisk \
        Filesystem::/dev/drbd0::/disk2::ext4 \
        IPaddr2::192.168.X.20/32/eth0 \
        smbserv
</code><code>
root@nodeN:~# cat /etc/ha.d/resource.d/smbserv
</code><code>
#!/bin/sh

case $1 in
start)
        service smbd start
        ;;
stop)
        service smbd stop
        ;;
esac

exit 0
</code><code>
root@nodeN:~# chmod +x /etc/ha.d/resource.d/smbserv

root@nodeN:~# service heartbeat start
</code>

=== FreeBSD Heartbeat ===
<code>
[nodeN:~] # service heartbeat stop

[nodeN:~] # cat /usr/local/etc/ha.d/haresources
</code><code>
node1.corpX.un \
    hast \
    IPaddr::192.168.X.20/32 \
    smbserv
</code><code>
[nodeN:~] # cat /usr/local/etc/ha.d/resource.d/smbserv
</code><code>
#!/bin/sh

case $1 in
start)
        sleep 10
        service samba_server onestart
        ;;
stop)
        service samba_server onestop
        ;;
esac

exit 0
</code><code>
[nodeN:~] # chmod +x /usr/local/etc/ha.d/resource.d/smbserv

[nodeN:~] # service heartbeat start
</code>

  * Проверяем целостность зеркала

=== FreeBSD ===
<code>
master# hastctl status
</code>

=== Debian/Ubuntu ===
<code>
master# cat /proc/drbd
</code>

  * Останавливаем MASTER сервер и дожидаемся монтирования на SLAVE узле "половины" зеркалируемого раздела в каталог /disk2, назначение ip адреса 192.168.X.20 и запуск сервера samba 
  * Запускаем бывший MASTER узел и дожидаемся восстановления целостности зеркала


===== Модуль 8. Отказоустойчивый почтовый сервер =====

!!! Проверять на отказоустойчивость по окончании синхронизации

==== Подготовка стенда ====

  * В зону corpX.un добавляем запись (mail A 192.168.X.30)

!!! Необходимо убедиться что на node1 смонтирован зеркалируемый раздел !!!

==== Ubuntu LXC ====

=== Подготовка родительских узлов ===

  * Подготовка сети для гостевых систем на обоих узлах для интерфейса LAN eth0

<code>
nodeN# apt install bridge-utils

nodeN# cat /etc/network/interfaces
</code><code>
...
auto br0
iface br0 inet static
        address 192.168.X.N
        netmask 255.255.255.0
        
        ucarp-vid 1
        ucarp-vip 192.168.X.254
        ucarp-password secret
        
        bridge_ports eth0

iface br0:ucarp inet static
        address 192.168.X.254
        netmask 255.255.255.255
...
</code><code>
nodeN# cat /etc/default/isc-dhcp-server
</code><code>
...
INTERFACES="br0"
</code>

  * Упрощаем конфигурацию [[HEARTBEAT plus DRBD]] для 1-го узла

<code>
nodeN# init 0
</code>

  * Для режима bridge в lxc понадобиться включить "неразборчивый режим" первом адаптере обоих виртуалок
  * Проверки после запуска

<code>
nodeN# ps ax | grep carp
nodeN# ifconfig | grep carp

nodeN# ps ax | grep dh

nodeN# ps ax | grep he
nodeN# mount | grep ext
</code>

  * [[Технология LXC#Установка и настройка lxc]] на обоих узлах
  * Готовимся все, относящееся к виртуальным системам, хранить на зеркалируемом разделе

<code>
root@nodeN:~# rmdir /var/lib/lxc/

root@nodeN:~# ln -s /disk2/var/lib/lxc/ /var/lib/lxc
</code>

=== Подготовка виртуальных машин ===

  * [[Технология LXC#Настройка шаблона]]
  * Создание ветки дочерней системы
  
<code>
root@node1.corpX.un:~# mkdir -p /disk2/var/lib/lxc/

root@node1.corpX.un:~# lxc-create -t ubuntu -n mail
</code>

  * Установка ПО в дочерней системе на MASTER узле

<code>
root@node1.corpX.un:~# cp /etc/ssh/sshd_config /var/lib/lxc/mail/rootfs/etc/ssh/sshd_config

root@node1.corpX.un:~# cp /etc/hosts /var/lib/lxc/mail/rootfs/etc/hosts

root@node1.corpX.un:~# chroot /var/lib/lxc/mail/rootfs/ /bin/bash

root@node1:/# PS1='mail:\w# '

mail:/# apt-get update

mail:/# apt-get purge resolvconf isc-dhcp-client

mail:/# apt-get install nano
</code>

  * Настраиваем hostname, hosts, DNS client и учетную запись root в гостевой системе

<code>
mail:/# cat /etc/hostname
</code><code>
mail.corpX.un
</code><code>
mail:/# cat /etc/hosts
</code><code>
127.0.0.1 localhost

192.168.X.30 mail.corpX.un

10.Z.M.254 proxy
</code><code>
mail:/# rm /etc/resolv.conf

mail:/# cat /etc/resolv.conf
</code><code>
search corpX.un
nameserver 192.168.X.1
nameserver 192.168.X.2
</code><code>
mail:/# userdel -r ubuntu

mail:/# passwd
</code>

  * Настраиваем lxc для запуска гостевой системы в контейнере на MASTER узле

<code>
root@node1.corpX.un:~# cat /var/lib/lxc/mail/config
</code><code>
...
lxc.network.type = veth
lxc.network.link = br0
lxc.network.ipv4 = 192.168.X.30/24
lxc.network.ipv4.gateway = 192.168.X.254
...
</code>

  * Тестируем работу виртуальной системе на MASTER узле

<code>
root@node1.corpX.un:~# lxc-info -n mail

root@node1.corpX.un:~# lxc-start -n mail -d

root@node1.corpX.un:~# lxc-info -n mail

root@node1.corpX.un:~# lxc-attach -n mail -- ps ax

root@node1.corpX.un:~# ssh mail

root@node1.corpX.un:~# lxc-stop -n mail

root@nodeN.corpX.un:~# service heartbeat stop
</code>
==== FreeBSD ====

  * Создаем виртуальную машину только на MASTER узле
  * [[Технология jail]]

<code>
# mount_cd9660 /dev/cd0 /mnt

# setenv D /disk2/jail/mail

# mkdir -p $D

# tar -xvf /mnt/usr/freebsd-dist/base.txz -C $D
</code>
  * Настраиваем параметры виртуальной машина на обоих узлах (без автозапуска)
<code>
[nodeN:~] # cat /etc/rc.conf
</code><code>
...

jail_list="mail"
</code><code>
[nodeN:~] # cat /etc/jail.conf
</code><code>
allow.raw_sockets = 1;
exec.clean;
exec.system_user = "root";
exec.jail_user = "root";
exec.start = "/bin/sh /etc/rc";
exec.stop = "/bin/sh /etc/rc.shutdown";
mount.devfs;
allow.set_hostname = 0;
allow.sysvipc = 0;

mail {
        host.hostname = "mail.corpX.un";
        path = "/disk2/jail/mail";
        interface = "em0";
        ip4.addr = "192.168.X.30";
        exec.consolelog = "/var/log/jail_mail_console.log";
}
</code>

  * Тестируем виртуальную машину на MASTER узле

<code>
[node1:~] # cp /root/.cshrc /disk2/jail/mail/root/

[node1:~] # cp /etc/hosts /disk2/jail/mail/etc/

[node1:~] # cp /etc/ssh/sshd_config /disk2/jail/mail/etc/ssh/

[node1:~] # service jail onestart mail

[node1:~] # jls

[node1:~] # jexec NN csh

mail# cat /etc/resolv.conf
</code><code>
nameserver 192.168.X.1
nameserver 192.168.X.2
</code><code>
mail# cat /etc/rc.conf
</code><code>
sshd_enable=yes
</code><code>
mail# passwd

mail# ping ya.ru

mail# telnet ya.ru 80

[node1:~] # service jail onestop mail
</code>
==== Интеграция технологий виртуализации с пакетом heartbeat ====

=== Ubuntu ===

[[HEARTBEAT plus LXC]]

=== FreeBSD ===

[[HEARTBEAT plus Jail]]

==== Настройка виртуальной системы как сервер электронной почты ====

  * [[Сервис MTA]]
  * [[UA mail]]

=== FreeBSD ===
<code>
[mail:~] # cat /usr/local/etc/dovecot/dovecot.conf
</code><code>
...
listen = 192.168.X.30
...
</code>

  * [[Сервер dovecot]]

==== Дополнительные задания ==== 

  * Настроить в виртуальной системе сервисы www и samba
  * В зоне corpX.un заменить записи (www A 192.168.X.30) и (samba A 192.168.X.30)
  * Настроить редирект tcp пакетов идущих на 25,80,110,143 порты внешнего IP адреса ISP в адрес 192.168.X.30 ([[Сервис NAT]]). Примечание: проблема возникает когда с точки зрения CARP/VRRP мастером является один хост, а с точки зрения heartbeat другой. Решение или административно исключить такую ситуацию или автоматически менять шлюз по умолчанию на вторичном с точки зрения CARP/VRRP узле через мастер (еще надо исключить ip из сети ISP на внешнем интерфейсе вторичного узла, иначе пакеты будут возвращаться в сеть ISP напрямую а не через мастер).
  * Настроить DNS View для внешних пользователей зоны corpX.un и запись A для mail.corpX.un и mail.corpX.un указать на адрес выданный ISP 
  * ([[Сервис DNS]])
Методические материалы Лохтурова Вячеслава

User Tools

Site Tools

Page Tools
