Создание Storage Cluster(CLI)

Структура CLI команд

storage [global options] <command> [<subcommand>] [command options]

storage mds --help

Подготовка хоста

1. Добавьте debian/rpm репозиторий и установите storage пакет:

   sudo apt update && sudo apt install storage
   
   

2. Проверьте права доступа:

   • /etc/storage

   • /mnt/storage

   • /var/log/storage

   Должны принадлежать пользователям группы storage и владельцу storage с правами rwx.

3. Инициализируйте хост:

   sudo storage host init --dc 0 --pod 0 --rack 0 --ip.public 192.168.0.1 --ip.internal 192.168.0.2 --mp.public 192.168.0.3,192.168.0.4 --mp.internal 192.168.0.5,192.168.0.6
   
   

   Где:

   • dc, pod, rack — уникальные идентификаторы датацентра, пода, стойки. Параметры задают физическое расположения хоста.

   • ip.public — IP-адрес хоста в публичной сети.

   • ip.internal — IP-адрес хоста в приватной сети (опциональный параметр, default: ip.public).

   • mp.public — multipath IP-адреса хоста в публичной сети (опциональный параметр, default: пусто).

   • mp.internal — multipath IP-адреса хоста во внутренней сети (опциональный параметр, default: пусто).

4. Настройте CPU Governor:

   • Ubuntu 22.04

     1. Установите пакет:

        sudo apt install cpufrequtils
        
        

     2. Проверьте наличие файла /etc/defaults/cpufrequtils. При необходимости создайте его с правами 0664. Добавьте или измените в нем:

        GOVERNOR="performance"
        
        

     3. Перезапустите сервис cpufrequtils:

        sudo systemctl restart cpufrequtils.service
        
        

   • Sberlinux 9

     1. Установите пакет:

        sudo dnf install kernel-tools
        
        

     2. Установите настройки governor в режим производительности:

        sudo cpupower frequency-set --governor performance
        
        

5. Настройте coredumps:

   Все сервисы, библиотеки и утилиты из пакета storage поддерживают создание coredumps в случае аварийного отказа системы.

   Настройка окружения для сбора crash dumps зависит от используемого дистрибутива. Вариант установки пакета для Ubuntu, также может быть использован для других дистрибутивов:

   sudo apt install systemd-coredump
   
   

   После установки пакета /proc/sys/kernel/core_pattern укажет на утилиту /lib/systemd/systemd-coredump. Она вызывается, когда требуется создать coredump. По умолчанию coredumps сжаты при помощи lz4 и пишутся в директорию /var/lib/systemd/coredump.

Подготовка диска

   storage disk prepare - Creates proper partition table on disk. For 'bdev' storages first part will be occupied by FS

USAGE:
   storage disk prepare [command options] [arguments...]

OPTIONS:
   --backend-type value  Use this device for CS's with backend type: [bdev|filestore]
   --bdev value          Raw block device to be partitioned
   --force               Force partition creation, will remove existing partition table (default: false)
   --fs-size value       Size of fs partition for CS roots. Use only with bdev backend, if not satisfied by default calculation. (default: 0.00B)
   --num-cs value        Number of CS services that share this device (default: 0)
   --storage-type value  Use this device for [hot|cold|mixed] storage

sudo storage disk prepare --bdev /dev/sda --backend-type bdev --storage-type cold --num-cs 5
sudo storage disk prepare --bdev /dev/nvme0n1 --backend-type bdev --storage-type hot --num-cs 7 --force
sudo storage disk prepare --bdev /dev/nvme1n1 --backend-type bdev --storage-type mixed --num-cs 3 --force

Создание MDS

1. Создайте первый MDS по инструкции из раздела Создание первого MDS (инициализация кластера).

2. Добавьте в кластер метадата-сервера по инструкции из раздела Добавление MDS в кластер.

3. Для работы метадата-сервера необходим кворум, поэтому количество MDS должно быть нечетным. Создайте необходимое количество MDS в зависимости от ваших требований отказоустойчивости (Таблица 2).

Аутентификация и авторизация

1. Авторизуйте все хосты в кластере:

   sudo storage --cluster 123 --mds.address 192.168.0.1 user login --name admin --password qwerty
   
   

   Где:

   • --cluster 123 — кластер ID, к которому присоединяется новый MDS;

   • --mds.address 192.168.0.1 — адрес запущенного MDS в кластере;

   • --name, --password — имя пользователя с правами на создание CS и его пароль. В примере это admin.

   Secret пользователя admin сохраняется в файле /etc/storage/clusters/123/auth.yml для последующей авторизации в кластере при использовании storage утилиты.

2. Сохраните список MDS-серверов. По умолчанию сохраняется в /etc/storage/mds_list.yml и в /etc/storage/clusters/123/mds_list.yml на каждом хосте:

   sudo storage --cluster 123 --mds.address 192.168.0.1 mds list --save
   
   

Создание СS

• Создание гибридного CS (HDD+SSD) — для гибридного CS;

• Создание «AllFlash» CS (SSD) — для «AllFlash» CS.