ImageBuildJob

Это функция позволяет собрать кастомный образа в Docker registry региона. В рамках этого образа исполняются скрипты в конкретном регионе. См. подробнее Обучение моделей на большом количестве GPU.

Параметры функции

Параметр

Описание параметра

from_image (обяз.)

Тип — string

…

Базовый образ, который является основой для сборки кастомного образа.

requirements_file (обяз.)

Тип — string

…

Путь в каталоге локальных дисков региона (также примонтированных и отображающихся в Jupyter Server) к файлу requirements.txt, который содержит список библиотек для включения в базовый образ. Файл должен находиться на NFS региона Christofari.V100.

install_type (опц.)

Тип — string

Значение по умолчанию — pip

…

Возможно использовать установщики conda и poetry. При использовании типа poetry путь в параметре requirements_file указывается до файла requirements.toml.

Параметр определяет способ установки.

poetrylock_file (опц.)

Тип — string

Значение по умолчанию — None

…

Параметр указывает путь до файла poetry.lock. Он используется только при условии install_type == "poetry".

conda_env (опц.)

Тип — string

Значение по умолчанию — None

…

Имя предустановленного окружения анаконды, которое необходимо активировать перед установкой библиотек.

Примечание

При запуске задачи обучения необходимо активировать conda-окружение, передав его имя в параметр conda_env.

Пример:

job = client_lib.ImageBuildJob(
    from_image='cr.msk.sbercloud.ru/aicloud-base-images/horovod-cuda10.0-tf1.15.0-pt1.3.0',
    requirements_file='/home/jovyan/requirements.txt'
)

Важно

При указании путей обращайте внимание, в каком NFS-хранилище и каталоге находится файл.

Если требуется, чтобы ячейка выполнилась после сборки образа, добавьте код:

import time
def wait_image_build_job(job):
    response = job.submit()
    if "created" not in response:
        return response
    time.sleep(20)
    job.logs()
    return "Done"

Команды

client_lib.ImageBuildJob.submit()

Команда submit() отправляет сформированную задачу сборки образа на выполнение.

client_lib.ImageBuildJob.new_image

Как только задача выполнится, в этом свойстве будет находиться новый собранный образ.