Переместить данные между S3 и NFS
Примечание
В именах файлов и папок рекомендуем вместо пробела использовать нижнее подчеркивание и дефис, чтобы путь до файла отображался корректно.
Перемещение данных между объектным хранилищем S3 и NFS может быть выполнено одним из нескольких методов:
Интерфейс Обзора хранилища.
Правило переноса в Data transfer service.
Средства функции client_lib.
Параметры Data transfer service в пайплайнах.
Перемещение данных через интерфейс Обзора хранилища
Для перемещения данных на NFS через интерфейс Обзора хранилища необходимо:
Выбрать объекты для переноса на вкладке Обзор хранилища.
Нажать Отправить на NFS. Выбрать целевое хранилище.
Нажать Подтвердить.
Перенос будет сохранен во вкладке История переносов.
Перемещение данных с помощью правил переноса
Перемещение данных между S3 и NFS возможно настроить c заданными параметрами и периодичностью с помощью создания Правила переноса между S3 и NFS в Data transfer service (cм. Правила переноса данных). Прогресс и результат переноса можно посмотреть на вкладке История переносов в Data transfer service.
Доступен перенос данных между NFS-хранилищами регионов с помощью правил переноса.
Перемещение данных средствами client_lib
Важно
Импорт функции client_lib недоступен в Jupyter Server, который развернут в регионе SR.01 (CPU, V100).
Перемещение данных средствами функции client_lib включает следующие этапы:
Передача параметров доступа к бакету S3.
Копирование данных с S3 в NFS. Для перемещения используйте следующие команды функции client_lib.
Физическое перемещение данных.
Перемещение данных с помощью пайплайнов
Чтобы переместить данные:
Создайте пайплайн, используя шаблон ниже.
Скопируйте и вставьте его в yaml-редактор.
Отредактируйте шаблон, опираясь на описание параметров пайплайна.
version: "1"
nodes:
dts_s3_to_nfs:
node_type: data_transfer
parameters:
name: "<transfer_name>"
source_conn_id: "<s3_connector_id>"
source: "<source_path>"
destination_conn_id: "<nfs_connector_id>"
destination: "<destination_path>"
cluster_name: "christofari-1" # Name of region
strategy: "write_all"