Создать образ для деплоя

Важно

  • Образ, используемый в деплоях и созданный через модуль Образы, хранится 30 дней. Если требуется образ, который нужен постоянно, соберите кастомный образ или после сборки деплоя скачайте требуемый образ к себе на персональный компьютер и загрузите его в Docker registry с префиксом «deploy-».

  • Размер образа не должен превышать 16 ГБ. Если требуется образ размером больше 16 ГБ, создайте кастомный образ и загрузите его в Docker registry с префиксом «deploy-».

Для создания нового образа из существующего:

  1. Перейдите на вкладку Deployments → Образы → Создать новый образ в главном меню. Откроется диалоговое окно с параметрами нового образа.

  2. В открывшемся окне необходимо указать:

    • Тип образа

      • Стандартный. Сборка образа для деплоя с одним контейнером на основе kfserving или собственного веб-сервера.

      • Triton Inference Server. Сборка образов Triton для раздельного деплоя оптимизированного инференса.

    • Тип контейнера (опционально для Triton Inference Server).

      • Трансформер. Содержит логику обработки запросов.

      • Предиктор. Содержит сервер triton и модель машинного обучения.

      См.также

      Triton Inference Server и его особенности.

    • Базовый образ

      Из списка образов

      При создании вручную.

      Базовый образ. Это образ из Docker-реестра ML Space, на основе которого нужно собрать новый образ.

      Базовый образ. Путь к образу нужно указать вручную. Это образ из Docker-реестра ML Space, на основе которого нужно собрать новый образ.

      • (Опционально для раздельного деплоя)

        Для создания Трансформера и Предиктора используйте образ cr.msk.sbercloud.ru/aicloud-base-images/triton22.04-py3:0.0.32.3.

  3. Подключение S3. Осуществляется с помощью указания параметров подключения вручную или выбора нужного бакета, данных для разворачивания образа с моделью из списка доступных. Параметр Обзор хранилища выставлен по умолчанию. Он позволяет выбрать нужный бакет из списка (без указания параметров подключения вручную) и подгрузить модель, serving-скрипт и файл requirements.txt с помощью диалога выбора файлов.

    Модель и serving-скрипт должны находиться в одном каталоге.

    При выборе типа подключения Указать вручную пользователь вводит параметры подключения самостоятельно. Параметры доступа к S3 — это S3 Endpoint, Access Key ID и Security Key. Подробная информация о том, как узнать параметры подключения, приведена в разделе Credentials S3 и путь до файла на S3. Вручную указываются и пути к пользовательским файлам на S3 (обученная модель и serving-скрипт). Обратите внимание, что путь до папки с моделью на S3 указывается в формате <bucket_name>/<folder> без префикса s3://. Путь до файла requirements.txt указывается опционально в случае сборки кастомного образа.

    • Конфигурация (опционально для образа Предиктор Triton Inference Server). Нужно указать каталог, в котором находится файл config.pbtxt.

      См.также

      Документация на GitHub.

  4. Нажмите Создать новый образ.

    Во вкладке Deployments → Образы отобразится карточка созданного образа. Дождитесь, пока образ сменит статус «В процессе сборки» на «Готов к работе».

    Образ может перейти в статус «Ошибка» по одной из причин.

    • Неверно указан базовый образ или его нет в Docker registry ML Space.

    • Неверно указаны параметры доступа к S3.

    • Размер образа превышает 16 ГБ.

    • Параметры доступа к S3 указаны верно, но не удалось скачать каталог с артефактами или скрипт.

Полученный образ можно использовать при создании деплоев. Подробнее см. Развернуть модель (создать деплой).