Требования
CPU
Требования к CPU представлены в Таблице 1.
Сервис |
Минимальные |
Рекомендуемые |
---|---|---|
MDS |
1 CPU core |
8 CPU Core |
CS |
1 CPU core Количество CS на диск: 1x CS per NVMe/SSD |
1 CPU Core Количество CS на диск: 4x CS per NVMe/SSD |
RAM
Требования к RAM представлены в Таблице 2.
Сервис |
Минимальные |
Рекомендуемые |
---|---|---|
MDS |
1GB |
20GB RAM per 1PB storage |
CS |
1GB |
3GB |
Диски
Требования к дискам представлены в Таблице 3.
Сервис |
Минимальные |
Рекомендуемые |
---|---|---|
Operation System |
1x SSD/NVMe 256GB |
2x SSD/NVMe 512GB + RAID Controller |
MDS |
1x NVMe 32GB |
1x NVMe 512GB (Допускается использовать системный NVMe диск, но не рекомендуется) |
CS(Hybrid, NVMe/ SSD+HDD) |
1x NVMe/SSD per 6 HDD или ~1TB NVMe space per 60TB HDD |
1x NVMe/SSD per 4 HDD или 1TB NVMe space per 40TB HDD |
CS |
1x NVMe 32GB |
1x NVMe > 3TB |
Рекомендуется использовать SATA HDD.
Конфигурации только на HDD дисках не поддерживается.
Не используйте RAID контроллеры для дисков CS и MDS.
Сеть
Общая схема сети
Public Network— публичная сеть, обеспечивающая пользователям доступ к MDS и CS. Используется для репликации метаданных по протоколу RAFT между MDS.
Internal(Interconnect) Network — внутренняя сеть для репликации, миграции и восстановления данных между CS.

Требования к сети
Требования к сети представлены в Таблице 4.
Тип сети |
Минимальные |
Рекомендуемые |
---|---|---|
Public (Compute, S3, iSCSI) |
2x 25Gb |
2x 100Gb |
Internal (Репликация, миграция, ребилд) |
2x 25Gb |
2x 100Gb |
Management (SSH) опционально, сеть может быть совмещена с public |
2x 10Gb |
2x 10Gb |
Зарезервированные порты
Порты резервируются в системе при установке пакета storage-kernel-conf.
Конфигурационный файл /etc/sysctl.d/99-storage-net.conf содержит порты, представленные в таблице 5.
Диапазон/Значение |
Назначение |
---|---|
59000-59999 |
CS RPC |
58000-58999 |
CS Prometheus |
60001 |
MDS RAFT |
60002 |
MDS gRPC |
60003 |
MDS RPC |
60080 |
MDS Prometheus |
60081 |
MDS Debug Server |
9991 |
vhostd Prometheus |
60100 |
vhostd RPC |
10809 |
NBD RPC |
60280 |
NBD Prometheus |
Расчет полезной емкости кластера
Информация по расчету полезной емкости кластера представлена в Таблице 6.
Схема кодирования |
Минимальное количество хостов |
Рекомендуемое количество хостов |
Количество недоступных хостов (без потери данных) |
Storage overhead |
Replication Factor |
Raw Capacity |
Useful Capacity |
---|---|---|---|---|---|---|---|
1+0 (1 реплика) |
1 |
1 |
0% |
1 |
100ТБ |
100ТБ |
|
1+2 (3 реплики) |
3 |
4 |
2 |
200% |
3 |
100ТБ |
33ТБ |
3+2 (erasure coding) |
5 |
6 |
2 |
66% |
1.66 |
100ТБ |
60ТБ |
4+2 (erasure coding) |
6 |
7 |
2 |
50% |
1.5 |
100ТБ |
66ТБ |
6+3 (erasure coding) |
9 |
10 |
3 |
50% |
1.5 |
100ТБ |
66ТБ |
9+3 (erasure coding) |
12 |
13 |
3 |
33% |
1.33 |
100ТБ |
75Б |
Кластер резервирует 5% дискового пространства для внутренних нужд и экстренных ситуаций. Например, на диске 10 ТБ доступно 9.5 ТБ физического места для пользовательских данных.
Формула для расчета полезного объема: Useful Capacity = Raw Capacity * 0.95 / Replication Factor
Конфигурация сервера
Конфигурация AllFlash (NVMe/SSD) сервера
Пример AllFlash (NVMe/SSD) сервера представлен в Таблице 7.
Service |
All Flash |
---|---|
CPU |
Не менее 48 физических CPU суммарно. Частота не менее 2ГГц. |
RAM |
Не менее 256GB |
Disks(OS) |
Не менее 2х 240GB SSD |
Disks(MDS) |
Не менее 1x 512GB NVMe/SSD |
Disks(CS) |
Не менее 12x 3.2TB NVMe/SSD |
Network |
Не менее 2-х карт по 2 порта каждая 25Gb (Public) Не менее 2-х карт по 2 порта каждая 25Gb (Internal) Не менее 2-х карт по 2 порта каждая 10Gb (Management) |
Конфиг Hybrid (NVME/SSD+HDD) сервера
Пример Hybrid (NVME/SSD+HDD) сервера представлен в Таблице 8.
Service |
Hybrid |
---|---|
CPU |
Не менее 24 физических CPU суммарно. Частота не менее 2ГГц. |
RAM |
Не менее 256GB |
Disks(OS) |
Не менее 2х 240GB SSD |
Disks(MDS) |
Не менее 1x 512GB NVMe/SSD |
Disks(CS) |
Не менее 4x 3.2TB NVMe/SSD для горячего хранилища CS (один NVMe на три HDD) Не менее 12х 6TB HDD SATA/SAS для холодного хранилища CS |
Network |
Не менее 2-х карт по 2 порта каждая 25Gb (Public) Не менее 2-х карт по 2 порта каждая 25Gb (Internal) Не менее 2-х карт по 2 порта каждая 10Gb (Management) |
- CPU
- RAM
- Диски
- Сеть
- Расчет полезной емкости кластера
- Конфигурация сервера