Переместить данные между S3 и NFS

Примечание

В именах файлов и папок рекомендуем вместо пробела использовать нижнее подчеркивание и дефис, чтобы путь до файла отображался корректно.

Перемещение данных между объектным хранилищем S3 и NFS может быть выполнено одним из нескольких методов:

Перемещение данных через интерфейс Обзора хранилища

Для перемещения данных на NFS через интерфейс Обзора хранилища необходимо:

  1. Выбрать объекты для переноса на вкладке Обзор хранилища.

  2. Нажать Отправить на NFS. Выбрать целевое хранилище.

  3. Нажать Подтвердить.

Перенос будет сохранен во вкладке История переносов.

Перемещение данных с помощью правил переноса

Перемещение данных между S3 и NFS возможно настроить c заданными параметрами и периодичностью с помощью создания Правила переноса между S3 и NFS в Data transfer service (cм. Правила переноса данных). Прогресс и результат переноса можно посмотреть на вкладке История переносов в Data transfer service.

Доступен перенос данных между NFS-хранилищами регионов с помощью правил переноса.

Перемещение данных средствами client_lib

Важно

Импорт функции client_lib недоступен в Jupyter Server, который развернут в регионе SR.01 (CPU, V100).

Перемещение данных средствами функции client_lib включает следующие этапы:

  1. Передача параметров доступа к бакету S3.

  2. Копирование данных с S3 в NFS. Для перемещения используйте следующие команды функции client_lib.

  3. Физическое перемещение данных.

Перемещение данных с помощью пайплайнов

Чтобы переместить данные:

  1. Создайте пайплайн, используя шаблон ниже.

  2. Скопируйте и вставьте его в yaml-редактор.

  3. Отредактируйте шаблон, опираясь на описание параметров пайплайна.

Пайплайн для переноса данных
 version: "1"
 nodes:
 dts_s3_to_nfs:
    node_type: data_transfer
    parameters:
       name: "<transfer_name>"
       source_conn_id: "<s3_connector_id>"
       source: "<source_path>"
       destination_conn_id: "<nfs_connector_id>"
       destination: "<destination_path>"
       cluster_name: "christofari-1"    # Name of region
       strategy: "write_all"