Использование пользовательского ключа доступа (AK/SK) для монтирования тома OBS

• Версия CCE Container Storage (Everest) должна быть 1.2.8 или новее.
• Версия кластера должна быть 1.15.11 или новее.

• Когда том OBS монтируется с использованием пользовательских ключей доступа (AK/SK), ключ доступа нельзя удалять или отключать. В противном случае контейнер сервиса не сможет получить доступ к смонтированному тому OBS.
• Пользовательские ключи доступа нельзя настраивать для защищённых контейнеров.

При создании тома OBS в консоли старой версии необходимо загрузить AK/SK, которые являются глобальными ключами доступа, используемыми для монтирования томов OBS. В результате все пользователи IAM в вашей учётной записи будут использовать одни и те же ключи для монтирования бакетов OBS как томов и получат одинаковые права доступа к бакетам. Однако данная настройка не позволяет задавать разные права доступа для отдельных пользователей IAM.

Если вы загрузили AK/SK (конкретно, если paas.longaksk существует в пространстве имён kube-system кластера), следует отключить глобальный секрет доступа, чтобы предотвратить выполнение неавторизованных операций пользователями IAM. Это гарантирует, что загруженный в консоли глобальный секрет доступа не будет использоваться при работе с томами OBS. Если вы не загрузили ни один AK/SK, пропустите этот раздел.

Чтобы отключить глобальный секрет доступа, выполните следующие действия:

• Отключите автоматическое монтирование секретов доступа в дополнении Everest, установив disable_auto_mount_secret в значение true.

  Следующие шаги применяются, когда версия add-on 2.x (например, 2.1.42) или более поздняя.

  1. Войдите в CCE console и нажмите имя кластера, чтобы открыть консоль кластера.
  2. В панели навигации выберите Add-ons. В правой панели найдите дополнение CCE Container Storage (Everest) и нажмите Edit.
  3. Настройте параметры дополнения. Установите Prohibit Global Secret from Mounting Object Storage (disable_auto_mount_secret) в Yes.
  4. Нажмите OK.

  Следующие шаги применяются, когда версия add-on 1.x. (Изменённые настройки не сохраняются при обновлении дополнения. Рекомендуется использовать add-on v2.x.)

  1. Используйте kubectl для доступа к кластеру и выполните следующую команду, чтобы изменить конфигурацию дополнения:

     kubectl edit ds everest-csi-driver -nkube-system
     
     

  2. Найдите disable-auto-mount-secret и установите его значение в true.

     

  3. Выполните :wq, чтобы сохранить изменения и выйти. Дождитесь перезапуска pod.
• В области Settings > Cluster Settings отключите глобальный секрет доступа к кластеру. Глобальный секрет доступа (paas.longaksk) в пространстве имён kube-system кластера будет удалён.

1. Откройте My Credentials страницу.
2. В панели навигации выберите Access Keys.
3. Нажмите Create Access Key. Появится диалоговое окно Create Access Key.
4. Нажмите OK, чтобы загрузить access key.

1. Получите ключи доступа.
2. Закодируйте ключи доступа с помощью Base64. (Предположим, что AK = xxx и SK = yyy.)

   echo -n xxx|base64
   echo -n yyy|base64
   
   

   Запишите закодированные AK и SK.

3. Создайте файл YAML для secret, например, test-user.yaml.

   apiVersion: v1
   data:
     access.key: WE5WWVhVNU*****
     secret.key: Nnk4emJyZ0*****
   kind: Secret
   metadata:
     name: test-user
     namespace: default
     labels:
       secret.kubernetes.io/used-by: csi
   type: cfe/secure-opaque
   
   

   Конкретно:

   Параметр	Описание
   access.key	Base64‑закодированный AK
   secret.key	Base64‑закодированный SK
   name	Имя secret
   namespace	Пространство имён секрета
   secret.kubernetes.io/used-by: csi	Добавьте этот ярлык, если хотите сделать его доступным в консоли CCE при создании OBS PV/PVC.
   type	Тип секрета. Значение должно быть cfe/secure-opaque. При использовании этого типа данные, вводимые пользователями, автоматически шифруются.

4. Создайте секрет.

   kubectl create -f test-user.yaml
   
   

После создания секрета с помощью AK/SK вы можете связать секрет с создаваемым PV, а затем использовать AK/SK в секрете для монтирования тома OBS.

1. Войдите в OBS console, создайте OBS bucket и запишите имя bucket и StorageClass. В качестве примера используется параллельная файловая система.
2. Создайте YAML‑файл для PV, например, pv-example.yaml.

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-obs-example
     annotations:
       pv.kubernetes.io/provisioned-by: everest-csi-provisioner
   spec:
     accessModes:
     - ReadWriteMany
     capacity:
       storage: 1Gi
     csi:
       nodePublishSecretRef:
         name: test-user
         namespace: default
       driver: obs.csi.everest.io
       fsType: obsfs
       volumeAttributes:
         everest.io/obs-volume-type: STANDARD
         everest.io/region: ru-moscow-1
         storage.kubernetes.io/csiProvisionerIdentity: everest-csi-provisioner
       volumeHandle: obs-normal-static-pv
     persistentVolumeReclaimPolicy: Delete
     storageClassName: csi-obs
   
   

   Параметр	Описание
   nodePublishSecretRef	Секрет, указанный при монтировании. name: имя секрета namespace: пространство имён секрета
   fsType	Тип файла, который может быть s3fs или obsfs. Если значение s3fs, создаётся OBS‑бакет. Если значение obsfs, создаётся параллельная файловая система OBS.
   volumeHandle	Имя тома OBS.

3. Создайте PV.

   kubectl create -f pv-example.yaml
   
   

   После создания PV вы можете создать PVC и связать его с PV.

4. Создайте файл YAML для PVC, например, pvc-example.yaml.

   Пример файла YAML для PVC:

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     annotations:
       csi.storage.k8s.io/node-publish-secret-name: test-user
       csi.storage.k8s.io/node-publish-secret-namespace: default
       volume.beta.kubernetes.io/storage-provisioner: everest-csi-provisioner
       everest.io/obs-volume-type: STANDARD
       csi.storage.k8s.io/fstype: obsfs
     name: obs-secret
     namespace: default
   spec:
     accessModes:
     - ReadWriteMany
     resources:
       requests:
         storage: 1Gi
     storageClassName: csi-obs
     volumeName: pv-obs-example
   
   

   Параметр	Описание
   csi.storage.k8s.io/node-publish-secret-name	Имя секрета
   csi.storage.k8s.io/node-publish-secret-namespace	Пространство имён secret

5. Создайте PVC.

   kubectl create -f pvc-example.yaml
   
   

   После создания PVC вы можете создать рабочую нагрузку и связать её с PVC для создания томов.

При динамическом создании тома OBS вы можете использовать следующий метод для указания secret:

1. Создайте YAML‑файл для PVC, например, pvc-example.yaml.

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     annotations:
       csi.storage.k8s.io/node-publish-secret-name: test-user
       csi.storage.k8s.io/node-publish-secret-namespace: default
       everest.io/obs-volume-type: STANDARD
       csi.storage.k8s.io/fstype: obsfs
     name: obs-secret
     namespace: default
   spec:
     accessModes:
     - ReadWriteMany
     resources:
       requests:
         storage: 1Gi
     storageClassName: csi-obs
   
   

   Параметр	Описание
   csi.storage.k8s.io/node-publish-secret-name	Имя secret
   csi.storage.k8s.io/node-publish-secret-namespace	Пространство имён secret

2. Создайте PVC.

   kubectl create -f pvc-example.yaml
   
   

   После создания PVC вы можете создать рабочую нагрузку и связать её с PVC для создания томов.

Вы можете использовать секрет IAM‑пользователя для монтирования OBS‑тома. Предположим, что создана нагрузка с именем obs-secret, точка монтирования в контейнере — /temp, и у IAM‑пользователя есть разрешения CCE ReadOnlyAccess и Tenant Guest.

1. Запросите имя pod нагрузки.

   kubectl get pod | grep obs-secret
   
   

   Ожидаемые результаты:

   obs-secret-5cd558f76f-vxslv          1/1     Running   0          3m22s
   
   

2. Запросите объекты в точке монтирования. В этом примере запрос выполнен успешно.

   kubectl exec obs-secret-5cd558f76f-vxslv -- ls -l /temp/
   
   

3. Запишите данные в точку монтирования. В этом примере операция записи завершилась с ошибкой.

   kubectl exec obs-secret-5cd558f76f-vxslv -- touch /temp/test
   
   

   Ожидаемые результаты:

   touch: setting times of '/temp/test': No such file or directory
   command terminated with exit code 1
   
   

4. Установите разрешения чтения/записи для IAM‑пользователя, смонтировавшего OBS‑том, ссылаясь на конфигурацию bucket policy.

5. Снова запишите данные в точку монтирования. В этом примере операция записи завершилась успешно.

   kubectl exec obs-secret-5cd558f76f-vxslv -- touch /temp/test
   
   

6. Проверьте точку монтирования в контейнере, чтобы убедиться, что данные записаны успешно.

   kubectl exec obs-secret-5cd558f76f-vxslv -- ls -l /temp/
   
   

   Ожидаемые результаты:

   -rwxrwxrwx 1 root root 0 Jun  7 01:52 test