Использование существующего EVS Disk через статический PV

• Вы создали кластер и установили CCE Container Storage (Everest) add-on в кластере.
• Вы создали EVS disk, соответствующий следующим требованиям:
  • EVS disk не может быть системным диском или общим диском.
  • EVS disk должен быть типа SCSI. (Тип диска по умолчанию — VBD при покупке EVS disk.)
  • EVS disk должен быть доступен и не использоваться другими ресурсами.
  • Зона доступности (AZ) EVS disk должна совпадать с зоной доступности узла кластера. В противном случае EVS disk нельзя смонтировать, и pod не запустится.
  • Если EVS disk зашифрован, ключ должен быть доступен.
  • Если в вашей учётной записи включены enterprise projects, вы можете выбирать только EVS disks в enterprise project, к которому принадлежит кластер, либо в проекте enterprise по умолчанию.
  • EVS disks, которые были разделены, не поддерживаются.
  • Поддерживаются только EVS disks формата ext4.
• Для создания кластера с помощью команд убедитесь, что используется kubectl. Подробности см. в Accessing a Cluster Using kubectl.

• EVS диски нельзя подключать между AZ и нельзя использовать несколькими рабочими нагрузками, несколькими pod‑ами одной и той же нагрузки или несколькими задачами. Data sharing общего диска не поддерживается между узлами в кластере CCE. Если EVS диск подключён к нескольким узлам, могут возникнуть конфликты I/O и конфликты кэша данных. Поэтому при создании Deployment, использующего EVS диски, выбирайте только один pod.
• Для кластеров версии ниже v1.19.10, если используется политика HPA для масштабирования нагрузки с подключёнными томами EVS, существующие pod‑ы нельзя будет читать или записывать, когда новый pod будет запланирован на другой узел.

  Для кластеров v1.19.10 и более новых, если используется политика HPA для масштабирования нагрузки с подключёнными томами EVS, новый pod не может быть запущен, потому что EVS диски нельзя подключать.

1. Войдите в CCE console и нажмите имя кластера, чтобы получить доступ к консоли кластера.
2. Статически создайте PVC и PV.
   1. Выберите Storage в панели навигации. На правой панели нажмите вкладку PVCs. Нажмите Create PVC в правом верхнем углу. В выдвижной панели настройте параметры PVC.

      Параметр	Описание
      Тип PVC	В этом примере выберите EVS.
      Имя PVC	Введите имя PVC, которое должно быть уникальным в namespace.
      Метод создания	Если базовое хранилище доступно, создайте PV или используйте существующий PV для статического создания PVC. Если нет доступного базового хранилища, выберите Dynamically provision. Подробности см. в Using an EVS Disk Through a Dynamic PV. В этом примере выберите Create new для создания как PV, так и PVC в консоли.
      PVa	Выберите существующий PV в кластере. Подробности о том, как создать PV, см. в разделе «Creating a storage volume» в Related Operations. В этом примере вам не нужно указывать этот параметр.
      EVSb	Нажмите Select EVS. На отображаемой странице выберите EVS‑том, соответствующий вашим требованиям, и нажмите OK.
      PV Nameb	Введите имя PV, которое должно быть уникальным в одном кластере.
      Access Modeb	Тома EVS поддерживают только ReadWriteOnce, что означает, что том может быть смонтирован только на один узел в режиме чтения/записи. Подробности см. в Volume Access Modes.
      Reclaim Policyb	Вы можете выбрать Delete или Retain, чтобы указать политику возврата базового хранилища при удалении PVC. Подробности см. в PV Reclaim Policy.

      Note

      a: Параметр доступен, когда Creation Method установлен в Use existing.

      b: Параметр доступен, когда Creation Method установлен в Create new.

   2. нажмите Create чтобы создать PVC и PV.

      Вы можете выбрать Storage в панели навигации и просмотреть созданные PVC и PV на вкладках PVCs и PVs соответственно.

3. Создайте приложение.
   1. Выберите Workloads в панели навигации. В правой панели нажмите вкладку StatefulSets.
   2. Нажмите Create Workload в правом верхнем углу. На отображаемой странице нажмите Data Storage в области Container Information под Container Settings и выберите Add Volume > PVC.

      Подключите и используйте тома хранилища. Для получения подробной информации о параметрах см. Table 1. Для остальных параметров см. Workloads.

      Table 1 Подключение тома хранилища

      Параметр	Описание
      PVC	Выберите существующий том EVS. Том EVS может быть подключен только к одной workload.
      Путь монтирования	Введите путь монтирования, например, /tmp. Этот параметр указывает путь контейнера, в который будет смонтирован том данных. Не монтируйте том в системный каталог, такой как / или /var/run. Это может привести к ошибкам контейнера. Монтируйте том в пустой каталог. Если каталог не пуст, убедитесь, что в нём нет файлов, влияющих на запуск контейнера. В противном случае файлы будут заменены, что приведёт к сбоям при запуске контейнера или создании workload. УВЕДОМЛЕНИЕ: Если том монтируется в каталог с высоким уровнем риска, используйте учетную запись с минимальными правами для запуска контейнера. В противном случае файлы с высоким уровнем риска на хосте могут быть повреждены.
      Subpath	Введите подкаталог тома хранения и смонтируйте путь в томе хранения к контейнеру. Таким образом, разные папки одного тома хранения могут использоваться в одном pod. tmp, например, указывает, что данные в пути монтирования контейнера хранятся в папке tmp тома хранения. Если этот параметр оставить пустым, по умолчанию будет использоваться корневой путь.
      Permission	Read-only: Вы можете только читать данные в смонтированных томах. Read-write: Вы можете изменять тома данных, смонтированные в путь. Ново записанные данные не будут перенесены при миграции контейнера, что может привести к потере данных.

      В этом примере диск смонтирован в путь /data контейнера. Данные контейнера, созданные в этом пути, хранятся на диске EVS.

      Note

      Несколько неразделяемый диск EVS может быть подключен только к одному pod рабочей нагрузки. Если существует несколько pod, дополнительные pod не смогут запуститься корректно. Убедитесь, что количество pod рабочей нагрузки равно 1, если подключён диск EVS.

   3. После настройки нажмите Create Workload.

      После создания рабочей нагрузки данные в каталоге монтирования контейнера будут сохраняться постоянно. Проверьте хранилище, обратившись к Verifying Data Persistence.

1. Используйте kubectl для доступа к кластеру.
2. Создайте PV. Если PV уже создан в вашем кластере, пропустите этот шаг. При использовании YAML‑файла для создания PV не используйте параметры, не объявленные в файле, такие как status, spec.claimRef и annotation.everest.io/set-disk-metadata. В противном случае PV может работать некорректно.
   1. Создайте файл pv-evs.yaml.

      apiVersion: v1
      kind: PersistentVolume
      metadata:
        annotations:
          pv.kubernetes.io/provisioned-by: everest-csi-provisioner
          everest.io/reclaim-policy: retain-volume-only         # (Optional) The underlying volume is retained when the PV is deleted.
        name: pv-evs    # PV name
        labels:
           failure-domain.beta.kubernetes.io/region: <your_region>    # Region of the node where the application is to be deployed
           failure-domain.beta.kubernetes.io/zone: <your_zone>        # AZ of the node where the application is to be deployed
      spec:
        accessModes:
          - ReadWriteOnce     # Access mode. The value must be  ReadWriteOnce  for EVS volumes.
        capacity:
           storage: 10Gi        # EVS disk capacity, in the unit of Gi. The value ranges from  1  to  32768 .
        csi:
          driver: disk.csi.everest.io     # Dependent storage driver for the mounting
          fsType: ext4    # Must be the same as that of the original file system of the disk.
           volumeHandle: <your_volume_id>    # EVS volume ID
          volumeAttributes:
            everest.io/disk-mode: SCSI           # Device type of the EVS disk. Only SCSI is supported.
             everest.io/disk-volume-type: SAS      # EVS disk type
            storage.kubernetes.io/csiProvisionerIdentity: everest-csi-provisioner
            everest.io/crypt-key-id: <your_key_id>    # (Optional) Encryption key ID. Mandatory for an encrypted disk.
            everest.io/enterprise-project-id: <your_enterprise_project_id>  # (Optional) Enterprise project ID of the EVS disk. Ensure that the enterprise project ID specified during PVC creation is the same as that in the PV. Otherwise, the PVC cannot be bound to the PV.
      
      
        persistentVolumeReclaimPolicy: Delete    # Reclaim policy
         storageClassName: csi-disk               # StorageClass name. The value must be  csi-disk  for EVS disks.
        mountOptions: [] # Mount options
      
      

      Table 2 Ключевые параметры

      Параметр	Обязательно	Описание
      everest.io/reclaim-policy: retain-volume-only	Нет	Поддерживается только retain-volume-only. Этот параметр действителен только при версии Everest 1.2.9 или более новой и когда политика возврата ресурсов Delete. Если политика возврата ресурсов Delete и текущее значение retain-volume-only, связанный PV будет удалён, а базовый том хранения сохранён, когда PVC удаляется.
      failure-domain.beta.kubernetes.io/region	Да	Регион, в котором находится кластер. Подробную информацию о его значении см. в Regions and Endpoints.
      failure-domain.beta.kubernetes.io/zone	Да	Зона доступности, в которой создан том EVS. Она должна совпадать с зоной доступности, запланированной для рабочей нагрузки. Для получения подробной информации о его значении см. Regions and Endpoints.
      fsType	Yes	Тип файловой системы, по умолчанию ext4.
      volumeHandle	Yes	Идентификатор тома EVS‑диска. Войдите в Cloud Server Console. В панели навигации выберите Elastic Volume Service > Disks. Нажмите имя целевого EVS‑диска, чтобы перейти на страницу его сведений. На вкладке Summary нажмите кнопку копирования после ID.
      everest.io/disk-volume-type	Yes	Тип EVS‑диска. Все буквы в верхнем регистре. SAS: Высокий I/O SSD: Ультра‑высокий I/O ESSD: Экстремальный SSD
      everest.io/crypt-key-id	Нет	Обязательно, если EVS‑диск зашифрован. Введите идентификатор ключа шифрования, выбранный при создании EVS‑диска. Чтобы получить идентификатор ключа шифрования, войдите в Cloud Server Console. В панели навигации выберите Elastic Volume Service > Disks. Щелкните название целевого EVS‑диска, чтобы перейти на страницу его сведений. На вкладке Summary скопируйте значение KMS Key ID в области Configuration Information.
      everest.io/enterprise-project-id	Нет	Введите идентификатор проекта предприятия, в котором создан EVS‑диск. Применяется только к корпоративным учетным записям с включенными проектами предприятия. Если указан идентификатор проекта предприятия, при создании PVC необходимо указать тот же идентификатор проекта предприятия. В противном случае PVC не сможет привязаться к PV. Чтобы получить идентификатор проекта предприятия, войдите в Cloud Server Console. В панели навигации выберите Elastic Volume Service > Disks. Щелкните название целевого EVS‑диска, чтобы перейти на страницу его сведений. На вкладке Summary щелкните проект предприятия в Management Information, чтобы открыть консоль проекта предприятия. Скопируйте соответствующий идентификатор, чтобы получить идентификатор проекта предприятия, к которому относится EVS‑диск.
      persistentVolumeReclaimPolicy	Да	Политика возврата поддерживается, если версия кластера 1.19.10 или новее и версия Everest 1.2.9 или новее. Поддерживаются политики возврата Delete и Retain. Подробнее см. PV Reclaim Policy. Если требуется высокая защита данных, выберите Retain, чтобы предотвратить случайное удаление данных. Delete: Если everest.io/reclaim-policy не указана, при удалении PVC будут удалены как PV, так и EVS‑диск. If everest.io/reclaim-policy is set to retain-volume-only, when a PVC is deleted, the PV will be deleted but the EVS disk will be retained. Retain: При удалении PVC как PV, так и связанные ресурсы хранилища будут сохранены. Вам необходимо вручную удалить эти ресурсы. После удаления PVC PV переходит в состояние Released и не может быть привязан к PVC повторно. Если вы хотите продолжить использовать связанные ресурсы хранилища, сначала удалите PV. Затем создайте новый PV и PVC и свяжите их с связанными ресурсами хранилища.
      storageClassName	Yes	Имя StorageClass, которое является csi-disk для диска EVS.
      mountOptions	No	Mount options. Для получения подробностей см. Configuring EVS Mount Options.

   2. Выполните следующую команду для создания PV:

      kubectl apply -f pv-evs.yaml
      
      

3. Создайте PVC.
   1. Создайте файл pvc-evs.yaml.

      apiVersion: v1
      kind: PersistentVolumeClaim
      metadata:
        name: pvc-evs
        namespace: default
        annotations:
             everest.io/disk-volume-type: SAS     # EVS disk type
          everest.io/crypt-key-id: <your_key_id>    # (Optional) Encryption key ID. Mandatory for an encrypted disk.
          everest.io/enterprise-project-id: <your_enterprise_project_id>  # (Optional) Enterprise project ID of the EVS disk. Ensure that the enterprise project ID specified during PVC creation is the same as that in the PV. Otherwise, the PVC cannot be bound to the PV.
        labels:
           failure-domain.beta.kubernetes.io/region: <your_region>    # Region of the node where the application is to be deployed
           failure-domain.beta.kubernetes.io/zone: <your_zone>        # AZ of the node where the application is to be deployed
      spec:
        accessModes:
        - ReadWriteOnce               # The value must be  ReadWriteOnce  for EVS disks.
        resources:
          requests:
             storage: 10Gi              # EVS disk capacity, ranging from  1  to  32768 . The value must be the same as the storage size of the existing PV.
         storageClassName: csi-disk     # The StorageClass is EVS.
         volumeName: pv-evs             # PV name
      
      

      Table 3 Ключевые параметры

      Параметр	Обязательно	Описание
      failure-domain.beta.kubernetes.io/region	Да	Регион, в котором расположен кластер. Для получения подробной информации о его значении см. Regions and Endpoints.
      failure-domain.beta.kubernetes.io/zone	Да	Зона, в которой создан EVS volume. Она должна совпадать с зоной, запланированной для рабочей нагрузки. Для получения подробной информации о его значении см. Regions and Endpoints.
      storage	Да	Запрошенный объём в PVC, в Gi. Значение должно совпадать с размером хранилища существующего PV.
      volumeName	Да	Имя PV, которое должно совпадать с именем PV в 1.
      storageClassName	Да	Имя StorageClass, которое должно совпадать с StorageClass PV в 1. Имя StorageClass для томов EVS — csi-disk.

   2. Выполните следующую команду для создания PVC:

      kubectl apply -f pvc-evs.yaml
      
      

4. Создайте приложение.
   1. Создайте файл с именем web-evs.yaml. В этом примере том EVS монтируется в путь /data.

      apiVersion: apps/v1
      kind: StatefulSet
      metadata:
        name: web-evs
        namespace: default
      spec:
       replicas: 1            # The number of workload replicas that use the EVS volume must be 1.
        selector:
          matchLabels:
            app: web-evs
        serviceName: web-evs   # Headless Service name
        template:
          metadata:
            labels:
              app: web-evs
          spec:
            containers:
            - name: container-1
              image: nginx:latest   # Replace it with the correct image path for your application.
              volumeMounts:
              - name: pvc-disk    # Volume name, which must be the same as the volume name in the  volumes  field
                mountPath: /data  # Location where the storage volume is mounted
            imagePullSecrets:
              - name: default-secret
            volumes:
              - name: pvc-disk    # Volume name, which is user-defined
                persistentVolumeClaim:
                   claimName: pvc-evs     # Name of the created PVC
      ---
      apiVersion: v1
      kind: Service
      metadata:
        name: web-evs   # Headless Service name
        namespace: default
        labels:
          app: web-evs
      spec:
        selector:
          app: web-evs
        clusterIP: None
        ports:
          - name: web-evs
            targetPort: 80
            nodePort: 0
            port: 80
            protocol: TCP
        type: ClusterIP
      
      

   2. Выполните следующую команду для создания рабочей нагрузки, к которой монтируется том EVS:

      kubectl apply -f web-evs.yaml
      
      

      После создания рабочей нагрузки данные в каталоге монтирования контейнера будут сохраняться постоянно. Проверьте хранилище, обратившись к Verifying Data Persistence.

1. Просмотрите развернутое приложение и файлы тома EVS.
   1. Выполните следующую команду для просмотра созданного pod:

      kubectl get pod | grep web-evs
      
      

      Ожидаемый вывод:

      web-evs-0                  1/1     Running   0               38s
      
      

   2. Выполните следующую команду, чтобы проверить, смонтирован ли том EVS в путь /data:

      kubectl exec web-evs-0 -- df | grep data
      
      

      Ожидаемый вывод:

      /dev/sdc              10255636     36888  10202364   0% /data
      
      

   3. Выполните следующую команду, чтобы проверить файлы в пути /data:

      kubectl exec web-evs-0 -- ls /data
      
      

      Ожидаемый вывод:

      lost+found
      
      

2. Выполните следующую команду, чтобы создать файл с именем static в пути /data:

   kubectl exec web-evs-0 --  touch /data/static
   
   

3. Выполните следующую команду, чтобы проверить файлы в пути /data:

   kubectl exec web-evs-0 -- ls /data
   
   

   Ожидаемый вывод:

   lost+found
    static 
   
   

4. Выполните следующую команду, чтобы удалить pod с именем web-evs-0:

   kubectl delete pod web-evs-0
   
   

   Ожидаемый вывод:

   pod "web-evs-0" deleted
   
   

5. После удаления контроллер StatefulSet автоматически создает реплику с тем же именем. Выполните следующую команду, чтобы проверить, были ли изменены файлы в пути /data:

   kubectl exec web-evs-0 -- ls /data
   
   

   Ожидаемый вывод:

   lost+found
    static 
   
   

   Файл static сохраняется, что указывает на возможность постоянного хранения данных в томе EVS.

Вы также можете выполнить операции, перечисленные в Table 4.