Миграция из нескольких инстансов SFS Turbo в один в кластере ССE

При выборе способа subpath в качестве связи с общим инстансом SFS Turbo в кластере CCE создайте соответствующий storageClass и укажите его параметры в манифестах PVC при добавлении новых.

Подкаталоги в SFS Turbo для PVC создаются автоматически.

Подробнее об использовании StorageClass.

Пример манифеста StorageClass:

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: csi-sfsturbo-subpath
allowVolumeExpansion: true
mountOptions:
  - lock
parameters:
  everest.io/archive-on-delete: "true"                          # подкаталог не удаляется, а архивируется
  csi.storage.k8s.io/csi-driver-name: sfsturbo.csi.everest.io
  csi.storage.k8s.io/fstype: nfs
  everest.io/share-access-to: <VPC_ID>                          # ID VPC, в которой создан инстанс SFS Turbo
  everest.io/share-expand-type: bandwidth                       # Используется совместно с everest.io/share-expand-type, должно быть bandwidth
  everest.io/share-export-location: <IP>:/sfsturbo/             # Mount directory configuration
  everest.io/share-source: sfs-turbo
  everest.io/share-volume-type: STANDARD                        # Может быть STANDARD или PERFORMANCE, указывает тип SFS Turbo. Должно быть с everest.io/share-expand-type: bandwidth.
  everest.io/volume-as: subpath
  everest.io/volume-id: <id_нового_инстанса_sfsturbo>
provisioner: everest-csi-provisioner
reclaimPolicy: Delete
volumeBindingMode: Immediate

PVC на этом классе выглядит как обычный PVC (storageClassName: csi-sfsturbo-subpath, RWX).

Размер PVC в этом режиме номинальный — жесткой квоты на подкаталог нет, необходимо контролировать утилизацию мониторингом.

Пример манифеста PVC:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc-app-a-new
  namespace: <ns>
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      # В режиме subpath параметр storage не влияет на ресурсы.
      # Объем хранилища ограничен общим объемом файловой системы SFS Turbo.
      # Если общего объема файловой системы SFS Turbo недостаточно, своевременно увеличьте объем на странице SFS Turbo.
      storage: 10Gi
  storageClassName: csi-sfsturbo-subpath
  volumeMode: Filesystem

Особенности:

• В режиме subpath параметр storage не влияет на ресурсы.

• Объем хранилища ограничен общим объемом файловой системы SFS Turbo.

• Если параметр everest.io/archive-on-delete имеет значение true и для параметра Reclaim Policy выбрано значение Delete, удаление PVC приводит к удалению подкаталога и архивированию исходных данных PV в каталог с именем archived-$PV_NAME.TIMESTAMP.

• Если для параметра persistentVolumeReclaimPolicy, связанного с PVC, установлено значение Delete, соответствующий подкаталог SFS Turbo будет удален.

Способ подходит для subpath, миграция автоматизированная, с простоем.

Утилита pvmigrate автоматизирует весь цикл:

• Находит PVC на исходном классе.

• Устанавливает количество реплик владельцев (Deployment/StatefulSet) в 0.

• Копирует данные rsync-подом.

• Пересоздает PVC под исходным именем на целевом классе — манифесты рабочих нагрузок править не нужно, после возврата реплик поды сами подхватывают новый том.

Утилита pvmigrate работает только с динамическими StorageClass, поэтому применима к решению subpath (класс csi-sfsturbo-subpath).

Чтобы мигрировать с помощью утилиты pvmigrate:

1. Сделайте резервную копию.

   Исходный PV после переключения удаляется без возможности восстановления.

2. Выполните Preflight-проверку без миграции:

   pvmigrate --source-sc csi-sfsturbo --dest-sc csi-sfsturbo-subpath --preflight-validation-only
   
   

3. Выполните миграцию:

   pvmigrate \
     --source-sc csi-sfsturbo \
     --dest-sc csi-sfsturbo-subpath \
     --namespace <ns> \
     --rsync-image eeacms/rsync \
     --verbose-copy
   
   

4. Проверьте результат:

   kubectl get pvc -n <ns>
   kubectl exec -n <ns> <pod> -- df -h /data
   
   

Особенности:

• Подходят только Deployment/StatefulSet — DaemonSet/Job/Pod без управляющего ресурса вызовут ошибку.

• Тома копируются последовательно.

• Все затронутые поды останавливаются одновременно — окно простоя охватывает весь прогон.

• Исходный PV удаляется после завершения миграции.

• Мигрируются все PVC исходного класса в области запуска. Если мигрировать все не нужно, рекомендуется ограничивать охват флагом --namespace и переносить PVC партиями.