tocdepth: 2

S3CopyJob

Функция S3CopyJob копирует данных с S3 на локальные NFS-диски региона Christofari.V100, а также в обратную сторону — с NFS на S3. Следует отметить, что для перемещения данных требуются параметры доступа к бакету S3. Для передачи этих параметров используется метод save_aws_credentials. Подробнее этапы взаимодействия между S3 и NFS описаны в разделе Использование данных для обучения моделей.

Чтобы копировать файлы на Christofari.A100, используйте Метод copy_to_nfs.

Параметры функции
Параметр	Описание параметра
`src` (обяз.)	Тип — `string` Источник перемещаемых данных или скриптов.
`dst` (обяз.)	Тип — `string` Путь к назначению перемещаемых данных или скриптов.
`recursive` (опц.)	Тип — `boolean` Значение по умолчанию — `False` Флаг для копирования папок.

Примеры копирования файлов:

client_lib.S3CopyJob('/home/jovyan/XGB/notebook.ipynb', 's3://1111111111111111111111-bucket/')

Подсказка

Для указания пути к файлу:

/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py

существует несколько способов:

'"/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py"'
'\'/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py\''
'/home/jovyan/aicloud-examples/quick-start/job\ launch/tensorflow\ mnist_estimator.py'

Примеры копирования папок:

client_lib.S3CopyJob(
  src='s3://47bd6556-632a-4681-b33f-528523eba758-bucket/test/',
  dst='/home/jovyan/',
  recursive=True
)

Команда submit() отправляет сформированную задачу перемещения данных из региона на S3 или обратно.

Параметры команды:

Параметр

Описание

folder_auto_create (опц.)

Тип — boolean

Значение по умолчанию — False

Параметр копирует папку пользователя из src в dst. Пример использования параметра см. в разделе Управление данными на платформе ML Space.

Была ли статья полезной?

Спасибо за отзыв! Что можно улучшить?

S3CopyJob