User Tools

Site Tools


ceph_-_просто_добавь_узлов

Распределенное отказоустойчивое хранилище Ceph - просто добавь узлов!

Анонс мастер класса

Запись мастер класса

Реклама мастер класса

  • Всем привет, встречайте систему хранения мечты! Нужно гарантировать сохранность данных - пожалуйста - три копии в разных городах, заканчивается место - добавьте еще диск, закончилось место для дисков, добавьте еще узел. И узлы и диски - любые на вкус и бюджет. Давайте попробуем за 45 минут все развернуть и посмотреть пару основных сценариев - “кончилось место” и “узел вышел из строя”

Техническое задание

  • Развернуть отказоустойчивую систему хранения предприятия с интерфейсом iSCSI без единой точки отказа

Методические рекомендации

Шаг 1. Исходное состояние стенда

  • СДЕЛАНО: Настройка на win client на использование dhcp
  • СДЕЛАНО: node1# rm .ssh/known_hosts && ip n f all
cd conf/virtualbox/

./setup.sh X 6
  • Настройка сети узлов node3..7 через Сервис Ansible (продемонстрировать, группа addnodes, Настройка транспорта ssh, Использование модулей, Использование ролей - файлы взять готовые из каталога conf)

Шаг 2. Установка и настройка Ceph

node3# ssh-keygen

node3# ssh-copy-id node4
node3# ssh-copy-id node5

Шаг 3. Сценарий - нехватка места

  • После копирования 10-й копии файла получаем WARN (в debian 11 нет!!!)
  • OSD POOL увеличиваем количество pg_num и pgp_num (не обязательно) и разворачиваем OSD на 6-м узле
node3# ssh-copy-id node6
  • Добавление узла OSD

Шаг 4. Сценарий - авария узла

  • Запускаем мониторинг ceph -s на 4-м узле и отключаем питание и удаляем 3-й, ждем результат (Поиск проблемных узлов)
  • Смотрим, как чувствуют себя пользователи windows (Перервать/Подключить)
  • Временно уменьшаем OSD POOL test-pool1 size до 2-х (не обязательно)
node4 debian11# ceph mon remove node3
  • Присваиваем 7-му узлу ip адрес 3-го, чистим ARP!!! (Команды для диагностики) и настраиваем сеть через Сервис Ansible
  • Берем конфигурацию с 4-го и запускаем MON на 3-м (узле создаем точно такой же monmap и выполняем все действия только для 3-го узла)
  • Выполняем все действия по запуску MGR на 3-м узле
  • Запускаем OSD на на 3-м узле
  • Берем конфигурацию с 4-го и перезапускаем TGT-RBD на 3-м
  • Возвращаем OSD POOL test-pool1 size равным 3
  • Удаляем из списка вышедший из строя узел OSD

Что еще

  • Добавление дисковых накопителей к узлам OSD через LVM
  • Безопасность
  • Более сложные карты, позволяющие хранить копии данных в различных географических местах
ceph_-_просто_добавь_узлов.txt · Last modified: 2021/12/10 09:53 by val