ML Space

S3CopyJob

Функция S3CopyJob копирует данные с S3 на NFS-диски региона Christofari.V100, а также в обратную сторону — с NFS на S3. Следует отметить, что для перемещения данных требуются параметры доступа к бакету S3. Для передачи этих параметров используется метод save_aws_credentials. Подробнее этапы взаимодействия между S3 и NFS описаны в разделе Использование данных для обучения моделей.

Чтобы копировать файлы на Christofari.A100, используйте Отключенные команды.

Параметры функции
Параметр	Описание параметра
src (обяз.)	Тип — string Источник перемещаемых данных или скриптов.
dst (обяз.)	Тип — string Путь к назначению перемещаемых данных или скриптов.
recursive (опц.)	Тип — boolean Значение по умолчанию — False Флаг для копирования папок.

Примеры копирования файлов:

client_lib.S3CopyJob('/home/jovyan/XGB/notebook.ipynb', 's3://1111111111111111111111-bucket/')

Подсказка

Для указания пути к файлу:

/home/jovyan/aicloud-examples/quick-start/joblaunch/tensorflowmnist_estimator.py

существует несколько способов:

'"/home/jovyan/aicloud-examples/quick-start/joblaunch/tensorflowmnist_estimator.py"'
'\'/home/jovyan/aicloud-examples/quick-start/joblaunch/tensorflowmnist_estimator.py\''
'/home/jovyan/aicloud-examples/quick-start/job\launch/tensorflow\mnist_estimator.py'

Примеры копирования папок:

client_lib.S3CopyJob(
  src='s3://47bd6556-632a-4681-b33f-528523eba758-bucket/test/',
  dst='/home/jovyan/',
  recursive=True
)

Команда submit() отправляет сформированную задачу перемещения данных из региона на S3 или обратно.

Параметры команды:

Параметр	Описание
folder_auto_create (опц.)	Тип — boolean Значение по умолчанию — False Параметр копирует папку пользователя из src в dst. Пример использования параметра.

Была ли статья полезной ?

Предыдущая статья

Job

Следующая статья

ImageBuildJob