ML Space S3CopyJob
Функция S3CopyJob копирует данные с S3 на NFS-диски региона Christofari.V100, а также в обратную сторону — с NFS на S3. Следует отметить, что для перемещения данных требуются параметры доступа к бакету S3. Для передачи этих параметров используется метод save_aws_credentials. Подробнее этапы взаимодействия между S3 и NFS описаны в разделе Использование данных для обучения моделей.
Чтобы копировать файлы на Christofari.A100, используйте Отключенные команды.
Параметр |
Описание параметра |
|---|---|
src (обяз.) |
Тип — string
Источник перемещаемых данных или скриптов. |
dst (обяз.) |
Тип — string
Путь к назначению перемещаемых данных или скриптов. |
recursive (опц.) |
Тип — boolean Значение по умолчанию — False
Флаг для копирования папок. |
Примеры копирования файлов:
client_lib . S3CopyJob ( '/home/jovyan/XGB/notebook.ipynb' , 's3://1111111111111111111111-bucket/' )
Для указания пути к файлу:
/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py
существует несколько способов:
'"/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py"'
'\'/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py\''
'/home/jovyan/aicloud-examples/quick-start/job\ launch/tensorflow\ mnist_estimator.py'
Примеры копирования папок:
client_lib . S3CopyJob (src = 's3://47bd6556-632a-4681-b33f-528523eba758-bucket/test/' ,dst = '/home/jovyan/' ,recursive = True)
Команда submit() отправляет сформированную задачу перемещения данных из региона на S3 или обратно.
Параметры команды:
Параметр |
Описание |
|---|---|
folder_auto_create (опц.) |
Тип — boolean Значение по умолчанию — False
Параметр копирует папку пользователя из src в dst. Пример использования параметра. |