ML Space

ImageBuildJob

Это функция позволяет собрать кастомный образа в Docker registry региона. В рамках этого образа исполняются скрипты в конкретном регионе.

Подробнее об обучении моделей на большом количестве GPU

Параметры функции

Параметр	Описание параметра
from_image (обяз.)	Тип — string Базовый образ, который является основой для сборки кастомного образа.
requirements_file (обяз.)	Тип — string Путь в каталоге локальных дисков региона (также примонтированных и отображающихся в Jupyter Server) к файлу requirements.txt, который содержит список библиотек для включения в базовый образ. Файл должен находиться на NFS региона Christofari.V100.
install_type (опц.)	Тип — string Значение по умолчанию — pip Возможно использовать установщики conda и poetry. При использовании типа poetry путь в параметре requirements_file указывается до файла requirements.toml. Параметр определяет способ установки.
poetrylock_file (опц.)	Тип — string Значение по умолчанию — None Параметр указывает путь до файла poetry.lock. Он используется только при условии install_type == "poetry".
conda_env (опц.)	Тип — string Значение по умолчанию — None Название предустановленного окружения анаконды, которое необходимо активировать перед установкой библиотек. Примечание При запуске задачи обучения необходимо активировать conda-окружение, передав его название в параметр conda_env.

Пример:

job   =   client_lib . ImageBuildJob ( 
     from_image = 'cr.ai.cloud.ru/aicloud-base-images/horovod-cuda10.0-tf1.15.0-pt1.3.0' , 
     requirements_file = '/home/jovyan/requirements.txt' 
 ) 

Примечание

При указании путей обращайте внимание, в каком NFS-хранилище и каталоге находится файл.

Если требуется, чтобы ячейка выполнилась после сборки образа, добавьте код:

import   time 
 def   wait_image_build_job ( job ): 
     response   =   job . submit () 
     if   "created"   not   in   response : 
         return   response 
     time . sleep ( 20 ) 
     job . logs () 
     return   "Done" 

Команды

client_lib.ImageBuildJob.submit()

Команда submit() отправляет сформированную задачу сборки образа на выполнение.

client_lib.ImageBuildJob.new_image

Как только задача выполнится, в этом свойстве будет находиться новый собранный образ.

Была ли статья полезной ?

Предыдущая статья

S3CopyJob

Следующая статья

Общие команды