Администрирование Storage Cluster

Создание первого MDS (инициализация кластера)

sudo storage --cluster 123 mds make --init-cluster --password qwerty --address 192.168.0.1 --root /mnt/storage/mds --cluster.name mycluster123

Где:

• --cluster 123 — уникальный ID нового кластера;

• --password qwerty — пароль администратора кластера — пользователя admin;

• --address 192.168.0.1 — адрес MDS из публичной сети;

• --root /mnt/storage/mds — директория MDS для хранения метаданных;

• --cluster.name — имя кластера.

systemctl start storage-mds@1.service
systemctl enable storage-mds@1.service

Добавление MDS в кластер

1. Авторизуйте хост и сохраните secret пользователя admin в файле /etc/storage/auth.yml для дальнейшей авторизации:

   sudo storage --cluster 123 --mds.address 192.168.0.1 user login --name admin --password qwerty
   
   

2. Создайте новый MDS в существующем кластере:

   sudo storage --cluster 123 --mds.address 192.168.0.1 mds make --address 192.168.0.2 --root /mnt/storage/mds
   
   

   Где:

   • --cluster 123 — кластер ID, к которому присоединяется новый MDS;

   • --mds.address 192.168.0.1 — адрес запущенного MDS в кластере;

   • --address 192.168.0.2 — адрес MDS из публичной сети;

   • --root /mnt/storage/mds — директория MDS для хранения метаданных.

Запуск MDS сервера и включение автозапуска

systemctl start storage-mds@{MDSID}.service
systemctl enable storage-mds@{MDSID}.service

Удаление MDS

1. Укажите ID MDS сервера и выполните команду:

   # Пример для MDS ID=1
   storage mds rm --id 1
   
   

2. Остановите systemd сервис на хосте, связанным с нужным MDS:

   systemctl stop storage-mds@1.service
   systemctl disable storage-mds@1.service
   
   

3. При необходимости удалите данные сервиса из root директории MDS:

   rm -rf /mnt/storage/mds
   rm -rf /etc/storage/mds.1
   rm -f /var/log/storage/mds.1*
   
   

Листинг MDS

storage mds list
ID ADDRESS NET-STATUS RAFT-STATUS UPTIME MAINTENANCE VERSION
1 172.255.50.58:60003 online ready 86h49m44s false 1.1.61
*2 172.255.50.59:60003 online ready 86h49m37s false 1.1.61
3 172.255.50.60:60003 online ready 63h28m40s false 1.1.61

• ID — идентификатор тома (2 - идентификатор лидера);

• ADDRESS — адрес MDS-сервера и его RPC-порт;

• NET-STATUS — сетевое состояние MDS (подробнее в разделе Статусы MDS);

• RAFT-STATUS — состояние RAFT (подробнее в разделе Статусы RAFT);

• UPTIME — время работы MDS с последнего запуска;

• maintenance — True/False, при значении True лидер перемещается на другой сервер;

• VERSION — версия storage-mds пакета.

Конфигурационный файл MDS

mds_id: 1
cluster_id: 123
cluster_name: mycluster
cluster_uuid: 06ab88bc-915a-4245-a6ba-3aa363d6ff53
root: /mnt/storage/mds
address: 192.168.100.13
raft_port: 60001
grpc_port: 60002
rpc_port: 60003
prom_port: 60080
debug_port: 60081
tos: 16
trace_ip: 127.0.0.1
trace_port: 14268
trace_enabled: false
log_dir: /var/log/storage
log_level: info
syslog_enabled: false
syslog_network: ""
syslog_raddr: ""
syslog_tag: ""

• mds_id — идентификатор MDS;

• cluster_id — идентификатор кластера;

• cluster_name — имя кластера;

• cluster_uuid — уникальный идентификатор кластера (128bit UUID v4);

• root — директория с данными сервера;

• address — fqdn-адрес, на котором работает MDS;

• raft_port, grpc_port, rpc_port, prom_port, debug_port — порты серверов;

• tos — type of service для MDS трафика (по умолчанию 16 или 0x10 - minimize delay);

• trace_ip, trace_port — endpoint коллектора трейсов;

• trace_enabled — включено/выключено отправление трейсов;

• log_dir — директория для логов;

• log_level — уровень логирования (error, warn, info, debug, trace);

• syslog_enabled — включено/выключено логирование в syslog. При включении логи из файла mds-audit.log будут также попадать в syslog;

• syslog_network — UDP/TCP-протоко` для отправки в syslog по сети. Пустое значение означает запись в локальный файл /var/log/syslog;

• syslog_raddr — IP-адрес удаленного syslog-сервера. Пустое значение означает запись в локальный файл /var/log/syslog;

• syslog_tag — дополнительный тэг для логов.

Создание гибридного CS (HDD+SSD)

sudo storage cs make --root /mnt/storage/nvme0n1p0 --root.cold /mnt/storage/sdb

• --root /mnt/storage/nvme0n1p0 — директория CS для горячих данных (реплики);

• --root.cold /mnt/storage/sdb — директория CS для холодных данных (erasure coding).

Команда storage cs make:

• инициализирует новый репозиторий в указанной директории;

• создает файлы конфигурации /etc/storage/cs.${CS_ID}/, /${ROOT/control/repo.yml;

• регистрирует сервис в кластере на MDS;

• регистрирует сервис в systemd.

Создание «AllFlash» CS(SSD)

sudo storage cs make --root /mnt/storage/nvme0n1p0

• --root /mnt/storage/nvme0n1p0 — директория CS для горячих данных (реплики).

Запуск CS сервиса и включение автозапуска

systemctl start storage-csd@{CSID}.service
systemctl enable storage-csd@{CSID}.service

storage cs list —-id $CSID

Удаление CS

1. Получите список CS и их идентификаторов:

   storage cs list
   
   

   Пример вывода:

   ID HOST               TIER MGMT-STATUS STATUS  ADDRESS             UPTIME      LAST-SCRUB  ISSCRUBBING  COLD-SPACE         HOT-SPACE       VERSION
   1 985403c287ad0aa0   0    ok          active  172.255.50.58:59001 70h27m0s    never       false        629.00GB/643.03GB 64.92GB/65.02GB 0.1.82
   2 f5854a8307e3e7be   0    ok          active  172.255.50.59:59002 70h24m5s    never       false        626.98GB/643.03GB 64.73GB/65.02GB 0.1.82
   3 db9dc1a0a2dfe307   0    ok          active  172.255.50.62:59003 70h28m8s    never       false        623.91GB/643.03GB 64.68GB/65.02GB 0.1.82
   
   

2. Удалите CS из кластера (например, с ID=1):

   storage cs rm --id 1
   
   

   После выполнения операции CS перейдет в статус RELEASING. Кластер начнет перенос чанков на другие серверы. Процедура может занять продолжительное время.

3. После завершения миграции CS перейдет в состояние DROPPED и пропадет из списка. Остановите systemd сервис на хосте:

   systemctl stop storage-csd@1.service
   systemctl disable storage-csd@1.service
   
   

4. Данные сервиса остаются root директории CS. Удалите данные (при необходимости):

   rm -rf /mnt/storage/nvme0n1p0 \
          /etc/storage/cs.1 \
          /var/log/storage/cs.1*
   
   

Листинг Chunk Server

storage cs list [--id $CSID]

storage top  # "cses"

Конфигурация Chunk Server

• Статические (нельзя изменить после создания сервиса):

  --root value, -r value Root directory to store CS state and hot data
  --root.cold value, --rc value Root directory to store cold CS data (for hybrid setup)
  --tier value Storage tier (default: 0)
  --repo.block-size value Physical block size (default: 4096)
  --repo.cold-wal-size value Max size for the cold storage WAL (default: 1% of total space at filesystem at root.cold)
  --repo.hot-stor-size value Size for the hot storage. Includes data in replicas and WALs (default:AllFlash: 5% of total space at filesystem at root; Hybrid: 100% of total space at filesystem at root)
  --repo.hot-wal-size value Size for the hot storage WAL (default: 1% of hot storage size)
  --repo.prefill-cold-balloc Prefill block allocator with zeroes on CS initialization (default: false)
  --repo.prefill-cold-wal Prefill WAL with zeroes on CS initialization (default: false)
  --repo.prefill-hot-balloc Prefill block allocator with zeroes on CS initialization (default: false)
  --repo.prefill-hot-wal Prefill WAL with zeroes on CS initialization (default: false)
  
  

• Динамические (задаются при создании, можно изменить в конфигурации, для этого потребуется рестарт сервиса):

  --port value CS port to listen on (default: 59000+CSID in [59000, 59999] range)
  --prometheus.port value Prometheus port for CS metrics (default: 58000+CSID in [58000, 58999] range)
  --log.dir value Log directory for CS (default: by default CS logs are stored at root.cold with symlinks at /var/log/storage)
  --log.level value Log level: error, warn, info, debug, trace (default: Default value is set by CS itself or by cs.conf)
  --cold.cache-capacity value Cold storage cache capacity (default: Default value is set by CS itself or by cs.conf)
  --cold.recovery-max-mem value Maximum memory for recovery tasks (default: Default value is set by CS itself or by cs.conf)
  --cold.scrub-max-mem value Maximum memory for scrub tasks (default: Default value is set by CS itself or by cs.conf)
  --hot.target-usage value % target range of hot storage usage, format: range (ex: "10-20") or single number (ex: "15") (default: Default value is set by CS itself or by cs.conf)
  --max-open-chunks value maximum number of open chunks at the same time (default: Default value is set by CS itself or by cs.conf)
  --seastar.cpuset value CPUs to use
  --seastar.disable-poll-aio Busy-poll for linux AIO operations (default: false)
  --seastar.loglevel value Default log level for log messages. Valid values are trace, debug, info, warn, error (default: "info")
  --seastar.memory value Memory to use (e.g. 4GB) (default: 4.00GB)
  --seastar.smp value Number of threads (default: 1)
  --seastar.thread-affinity Pin threads to their CPUs (default: false)
  
  

Скраббинг (Scrub)

1. Обычный скраббинг:

   • Проверяет данные и CRC на диске.

   • Позволяет диску автоматически исправлять единичные ошибки.

   • При обнаружении неустранимых повреждений:

     • Передает информацию в MDS;

     • Инициирует миграцию данных;

     • Переводит CS в статус Failed;

     • Создает оповещение о необходимости замены диска.

2. Глубокий скраббинг (deep-scrub): - Проверяет консистентность данных с учетом erasure-кодирования. - Сравнивает данные с восстановленными копиями из других CS.

storage cs scrub start --id 1

storage cs scrub cancel --id 1

storage cs scrub start --id 1

storage config set --name scrubber.<parameter> --value <value>

Настройка RDMA для RPC

Создание Volume

storage volume make --size 100GB --storage-class erasure

• --size 100GB — логический размер тома;

• --storage-class erasure — стандартный storage class для ec=4+2.

storage storage-class list
NAME FAILURE-DOMAIN TIER ENCODING ENCRYPTION CHUNK-SIZE STRIP-SIZE OBJECT-SIZE MAXIOPS MAX-BW
erasure-disk disk 0 4+2/1 none 1GB 4KB 1MB N/A N/A
erasure-cold-disk disk 0 9+3/2 none 2GB 4KB 1MB N/A N/A
zero disk 0 1+0/0 none 1GB 4KB 1MB N/A N/A
replicated host 0 1+2/1 none 1GB 4KB 1MB N/A N/A
replicated-disk disk 0 1+2/1 none 1GB 4KB 1MB N/A N/A
erasure host 0 4+2/1 none 1GB 4KB 1MB N/A N/A
erasure-cold host 0 9+3/2 none 2GB 4KB 1MB N/A N/A

storage volume make --size 100GB --encoding "4+2/1" --failure-domain host --tier 0

• --size 100GB — логический размер тома;

• --encoding "4+2/1" — параметры erasure-coding в N+K/X формате,

  где:

  • N - stripe depth (количество data блоков),

  • K - redundancy (количество checksums блоков),

  • X - write tolerance (допустимое количество отказов CS для продолжения записи);

• --failure-domain host — volume failure domain (для схемы 4+2 необходимо минимум 6 хостов);

• --tier 0 — тир для хранения данных тома.

• --limit.bw <value> — ограничение пропускной способности заданным целым числом <value> в MiB/sec По умолчанию 0 (без ограничений);

• --limit.rate <value> — ограничение числа IO операций в секунду заданным числом <value>. По умолчанию 0 (без ограничений).

Увеличение Volume

storage volume grow --id 0x4ca25d689dfa1af0 --size 10GB

Заморозка Volume (cоздание image)

storage volume make --size 1GB --storage-class erasure
Volume 0x4ca25d689dfa1af0 added
qemu-img convert -n -f raw -O raw cirros.img sbd:volume=0x4ca25d689dfa1af0

• -n — обязательный параметр, пропускает «создание» тома силами qemu-img. В SDS тома создаются только утилитой storage, вызов qemu-img без параметра -n приведет к ошибке;

• --size — размер тома (image), должен быть больше либо равен размеру cirros.img;

• -f raw — формат cirros.img;

• -O raw— output формат записи в 0x4ca25d689dfa1af0 volume.

storage volume freeze --if 4ca25d689dfa1af0 --name new-volume-name

• --id 0x4ca25d689dfa1af0 — идентификатор тома, который будет переведен в состояние frozen;

• --name new-volume-name (опционально) — новое название тома.

Клонирование Volume

storage volume clone --id 4ca25d689dfa1af0 --name new-cloned-volume

• --id 4ca25d689dfa1af0 — идентификатор frozen Volume, который будет клонирован;

• --name new-cloned-volume (опционально) — название нового тома.

Удаление Volume

storage volume rm --id 4ca25d689dfa1af0

• --id 4ca25d689dfa1af0 — идентификатор тома, который будет удален.

Корзина Volume

storage volume trash mv --id 4ca25d689dfa1af0 --delete-after 1h

• --id 4ca25d689dfa1af0 — идентификатор тома, который нужно переместить в корзину.

• --delete-after 1h — время отложенного удаления. По умолчанию тома удалится через 24 часа после перемещения в корзину.

storage volume trash list
         ID                  NAME  VERSION   STATE   SIZE  CHUNKS  FAILURE-DOMAIN  TIER  ENCODING  ENCRYPTION  BLOCK-SIZE  CHUNK-SIZE  STRIP-SIZE  OBJECT-SIZE  SLICE-SIZE  MAX-IOPS  MAX-BW               DELETE-AT
81b4075bc4b302f0  vol-81b4075bc4b302f0        1  active  4.0GB       0            disk     0     1+2/1        none        4096         1GB         4KB          1MB          0B       N/A     N/A 26.03.2025T10:42:33 MSK

storage volume trash restore --id 4ca25d689dfa1af0

Листинг Volume

storage volume list

storage volume list --id c2fd74b9e413ed21

• --id c2fd74b9e413ed21 (опционально) — идентификатор нужного тома.

ID NAME VERSION STATE SIZE CHUNKS FAILURE-DOMAIN TIER ENCODING ENCRYPTION BLOCK-SIZE CHUNK-SIZE STRIP-SIZE OBJECT-SIZE MAX-IOPS MAX-BW
c2fd74b9e413ed21 vol-c2fd74b9e413ed21 1 active 1GB 1 disk 0 4+2/1 none 4096 1GB 4KB 1MB N/A N/A

Где:

• ID — идентификатор тома;

• NAME — выбранное имя тома;

• VERSION — версия тома;

• STATE — состояние тома в данный момент:

  • deleting — том в процессе удаления;

  • cloning — том в процессе клонирования из Image;

  • frozen — том может быть использован в качестве источника для клонирования;

  • freezing — том находится в процессе перехода в Image;

  • active — том активен и может быть использован для выполнения IO команд;

• SIZE — размер тома;

• CHUNKS — число выделенных чанков у тома;

• FAILURE-DOMAIN — уровень защиты от потери данных у тома;

• TIER — уровень скорости тома;

• ENCODING — схема кодирования данных тома;

• ENCRYPTION — алгоритм шифрования тома;

• BLOCK-SIZE — размер блока тома;

• CHUNK-SIZE — размер чанка тома;

• STRIP-SIZE — размер стрипа тома;

• OBJECT-SIZE — размер объекта;

• MAX-IOPS — максимальное число IOPS для тома;

• MAX-BW — максимальное количество MB/sec для тома.

Глубокий скраббинг Volume (Deep Scrub)

1. Чтение данных с Data CS и контрольных сумм с Checksum CS.

2. Перекодирование данных с помощью erasure-coding.

3. Сравнение полученных контрольных сумм с сохранёнными. При расхождении MDS помечает LAST-STATUS как failed.

storage volume scrub start --id 6641f9c25f689993

storage volume scrub start --all

storage volume scrub cancel --id 6641f9c25f689993

storage volume scrub list

ID               LAST-SCRUB LAST-STATUS NEXT-SCRUB SCRUBBING
6641f9c25f689993 never      ok          never      no

Ограничение пропускной способности (Rate/Bandwidth)

1. При создании тома:

   storage volume make --size 10GB --limit.bw 200 --limit.rate 1000 --storage-class erasure
   
   

2. Для существующего тома:

   storage volume limit --id 0x5e995462e3abf960 --limit.rate 2000 --limit.bw 100
   
   

• --limit.bw <value> — ограничение пропускной способности в MiB/sec (целое число).

• --limit.rate <value> — ограничение числа IO операций в секунду (целое число).

storage config list | grep cluster.volume
# Bandwidth limit for volume in MB/s (0 - unlimited)
cluster.volume_bandwidth_limit = 200;
# Rate limit for volume in IO operations per second (0 - unlimited, 100 - min, 100000 - max)
cluster.volume_rate_limit = 2000;

Примечание

Явно заданные лимиты тома (--limit.bw и --limit.rate) переопределяют глобальные настройки кластера.

Листинг чанков тома

storage volume chunks --id 6f73cbeb60e9ad38
  IDX UID STATUS FAILURE-DOMAIN STRIP#0 STRIP#1 STRIP#2
    0 2 healthy OK CS=4 CS=2 CS=1
    1 1 healthy OK CS=3 CS=1 CS=2

• IDX — индекс чанка;

• UID — уникальный идентификатор чанка;

• STATUS — статус чанка (подробнее в Статус чанка);

• FAILURE-DOMAIN — соответствие расположения чанклетов домену отказа (OK, FAILED). Для failure domain=host все чанклеты должны находиться на разных хостах.

• STRIP#N — расположение чанклета, хранящего стрипы соответствующего индекса.

Листинг lease тома

storage volume leases --id 6f73cbeb60e9ad38
UUID CLIENT ID VERSION TYPE
5d07c6a8-7167-4196-b9f3-d3f8321bd123 0x088c78b13e5f1314 0 exclusive

• UUID — идентификатор lease;

• CLIENT ID — идентификатор клиента, удерживающего lease;

• VERSION — версия тома или снапшота, на который взята lease;

• TYPE — тип lease (exclusive, shared rw, shared ro).

Шифрование тома

storage volume make --size 10GB --storage-class erasure --encryption.type AES256XTS [--encryption.keybase64_encoded_key]

• encryption.type — алгоритм шифрования;

• encryption.key — ключ шифрования (опционально). Если ключ не задан, то будет сгенерирован автоматически.

• AES128XTS;

• AES256XTS;

• AEGIS128L;

• AEGIS256.

1. Создайте файл /etc/storage/mds.ID/secret.env вручную для каждого MDS.

2. Файл должен содержать секрет AES256 длиной 32 байта в base64 формате:

   cat /etc/storage/mds.1/secret.env
   MASTER_SECRET_KEY="PbzhIklR/GlwGZfyVB4mf8Vm8yyKUvQhJKe19uIApY4="
   
   $ ll /etc/storage/mds.1/secret.env
   -rw------- 1 storage storage 64 Aug 6 15:49 /etc/storage/mds.1/secret.env
   
   

   Файл secret.env должен иметь rw права только для root пользователя.

3. Обновите systemd сервис каждого MDS и добавить строку EnvironmentFile=-/etc/storage/mds.%i/secret.env:

   systemctl cat storage-mds@1.service
   # /lib/systemd/system/storage-mds@.service
   [Unit]
   Description=Storage Metadata Server
   PartOf=storage-mds.target
   After=network-online.target local-fs.target time-sync.target
   Before=storage-mds.target
   Wants=network-online.target local-fs.target time-sync.target storage-mds.target
   
   [Service]
   ExecStart=/usr/bin/mds --id %i
   User=storage
   Group=storage
   Environment="GOTRACEBACK=crash"
   EnvironmentFile=-/etc/storage/mds.%i/secret.env
   LimitCORE=infinity
   KillMode=process
   KillSignal=SIGINT
   SuccessExitStatus=100
   Restart=on-failure
   RestartSec=10
   StartLimitBurst=10
   StartLimitInterval=30min
   StandardOutput=append:/var/log/storage/mds.%i.stdout
   StandardError=append:/var/log/storage/mds.%i.stdout
   
   [Install]
   WantedBy=storage-mds.target
   
   

Создание Snapshot

storage snap make --id 4ca25d689dfa1af0
Snapshot #1 created

• --id 4ca25d689dfa1af0 — идентификатор тома;

• #1 — версия созданного снапшота.

Клонирование Snapshot

storage volume clone --id 4ca25d689dfa1af0 --name new-cloned-snapshot --version 1

• --id 4ca25d689dfa1af0 — идентификатор исходного тома, который нужно клонировать;

• --name new-cloned-snapshot (опционально) — имя нового тома;

• --version 1 — версия снапшота для клонирования.

Удаление Snapshot

storage snap rm --id 4ca25d689dfa1af0 --version 1

storage snap purge --id 4ca25d689dfa1af0

Листинг Snapshot

storage snap list --id 4ca25d689dfa1af0
VERSION NAME DATE
1 snapshot-1 Mon, 19 Sep 2022 15:04:56 MSK

Экспорт Snapshot

sbdctl export --volume-id 0x670adb3d59bff77e --file-to snapshot-1.sbd --snapshot 1

sbdctl export --volume-id 0x670adb3d59bff77e --file-to snapshot-2.sbd --snapshot 2 --incremental

Информация о чанке

storage chunk info --uid 1
STRIP-IDX CSID TYPE STATE STATUS
0 3 data uptodate online
1 1 checksum uptodate online
2 2 checksum uptodate online

• STRIP-IDX — индекс чанклета, который хранит соответсвующие стрипы;

• CSID — место расположения чанклета;

• TYPE — тип чанклета. Data чанклет хранит данные. Checksum чанклет хранит чексуммы для erasure coding;

• STATE — состояние чанлета (uptodate, outdated);

• STATUS — статус чанклета.

Создание User

storage user make --name username --password qwerty --cap.volume rw
User 'username' added

• name — имя нового пользователя;

• password — пароль пользователя. Если пароль не указан, пользователь получает статус nologin, аутентификация возможна только через secret ключ;

• cap.volume — группа и capabilities пользователя. В данном примере пользователю установлены read/write capability на операции с томом.

Авторизация

storage user login --name username --password qwerty

Права пользователя

• r — только чтение;

• w — только запись;

• rw — чтение и запись.

Управление пользователями

storage user list
NAME     LOGIN  CAPABILITIES
admin    true   [config=rw cs=rw host=rw mds=rw user=rw volume=rw]
username true   [volume=rw]

• NAME — имя пользователя;

• LOGIN:

  • true — пользователю доступна авторизация по паролю;

  • false — пользователь имеет статус nologin;

• CAPABILITIES — права пользователя.

storage user rm --name username

storage user who
NAME LOGIN SECRET CAPABILITIES
admin true humQqKFGWJNxY6JxSEbz9lAQmWqjLishVXARNoM1Yuo= [config=rw cs=rw host=rw mds=rw user=rw volume=rw]

$ storage user set password --name admin --password qwerty
User 'admin' updated

Просмотр хостов

$ storage host list
HOST-ID HOSTNAME PUBLIC-IP INTERNAL-IP LOCATION ONLINE-MDSES ONLINE-CSES MAINTENANCE
0xc65c22b781849edb storage1 10.10.50.71 10.10.40.71 [0:0:0] 1/1 3/3 off
0x4f5b942f91926a75 storage2 10.10.50.72 10.10.40.72 [0:0:0] 1/1 3/3 off
0x1706df20b1f99bc9 storage3 10.10.50.73 10.10.40.73 [0:0:0] 1/1 3/3 off

• HOST-ID — идентификатор хоста из host.yml;

• HOSTNAME — имя хоста из host.yml (по умолчанию /etc/hostname);

• PUBLIC-IP — публичный адрес хоста;

• INTERNAL-IP — внутренний адрес хоста;

• LOCATION — [A:B:C], где A — идентификатор DC, B — идентификатор pod, C — идентификатор rack из host.yml;

• ONLINE-MDSES — количество активных MDS-сервисов на хосте;

• ONLINE-CSSES — количество активных CS-сервисов на хосте;

• maintenance — статус обслуживания (on/off).

Режим обслуживания (Maintenance)

storage host maintenance --maintenance-on

storage host maintenance --maintenance-off

storage host maintenance --id 0xc65c22b781849edb --maintenance-on

storage host maintenance --force --maintenance-on

Lease

storage lease revoke --volume 48fb33816fadd178 --client 0x0a00000000000400

Clients

storage client list
                 ID                       HOSTNAME    TYPE   STATUS     UPTIME  VERSION
 0x0a00000000000018                            N/A     fio   offline        0s   1.4.68
 0x0811a464e7b31926                            N/A  sbdctl   online  17h23m30s   1.4.68
 0x2001a452d7944b63  pd32-srv-077.srv.mng.cloud.ru   vhost   online  17h11m10s   1.4.68

• ID — идентификатор клиента (по умолчанию берется из host.yml на клиентском хосте);

• HOSTNAME — имя хоста из host.yml (по умолчанию /etc/hostname), где расположен клиент;

• TYPE — тип клиента (fio, sbd,sbdctl, vhost, tcmu, fuse, nbd);

• STATUS — online, inactive (клиент не отправляет keepalive более 15 секунд), offline (клиент не отправляет keepalive более минуты);

• UPTIME — продолжительность работы клиентского процесса;

• VERSION— версия клиента.