Создать образ для деплоя
Важно
Образ, используемый в деплоях и созданный через модуль Образы, хранится 30 дней. Если требуется образ, который нужен постоянно, соберите кастомный образ или после сборки деплоя скачайте требуемый образ к себе на персональный компьютер и загрузите его в Docker registry с префиксом «deploy-».
Размер образа не должен превышать 16 ГБ. Если требуется образ размером больше 16 ГБ, создайте кастомный образ и загрузите его в Docker registry с префиксом «deploy-».
Для создания нового образа из существующего:
Перейдите на вкладку
в главном меню. Откроется диалоговое окно с параметрами нового образа.В открывшемся окне необходимо указать:
Тип образа
Стандартный. Сборка образа для деплоя с одним контейнером на основе kfserving или собственного веб-сервера.
Triton Inference Server. Сборка образов Triton для раздельного деплоя оптимизированного инференса.
Тип контейнера (опционально для Triton Inference Server).
Трансформер. Содержит логику обработки запросов.
Предиктор. Содержит сервер triton и модель машинного обучения.
Базовый образ
Из списка образов
При создании вручную.
Базовый образ. Это образ из Docker-реестра ML Space, на основе которого нужно собрать новый образ.
Базовый образ. Путь к образу нужно указать вручную. Это образ из Docker-реестра ML Space, на основе которого нужно собрать новый образ.
(Опционально для раздельного деплоя)
Для создания Трансформера и Предиктора используйте образ
cr.msk.sbercloud.ru/aicloud-base-images/triton22.04-py3:0.0.32.3
.
Подключение S3. Осуществляется с помощью указания параметров подключения вручную или выбора нужного бакета, данных для разворачивания образа с моделью из списка доступных. Параметр Обзор хранилища выставлен по умолчанию. Он позволяет выбрать нужный бакет из списка (без указания параметров подключения вручную) и подгрузить модель, serving-скрипт и файл
requirements.txt
с помощью диалога выбора файлов.Модель и serving-скрипт должны находиться в одном каталоге.
При выборе типа подключения Указать вручную пользователь вводит параметры подключения самостоятельно. Параметры доступа к S3 — это S3 Endpoint, Access Key ID и Security Key. Подробная информация о том, как узнать параметры подключения, приведена в разделе Credentials S3 и путь до файла на S3. Вручную указываются и пути к пользовательским файлам на S3 (обученная модель и serving-скрипт). Обратите внимание, что путь до папки с моделью на S3 указывается в формате
<bucket_name>/<folder>
без префиксаs3://
. Путь до файлаrequirements.txt
указывается опционально в случае сборки кастомного образа.Конфигурация (опционально для образа Предиктор Triton Inference Server). Нужно указать каталог, в котором находится файл
config.pbtxt
.См.также
Нажмите Создать новый образ.
Во вкладке карточка созданного образа. Дождитесь, пока образ сменит статус «В процессе сборки» на «Готов к работе».
отобразитсяОбраз может перейти в статус «Ошибка» по одной из причин.
Неверно указан базовый образ или его нет в Docker registry ML Space.
Неверно указаны параметры доступа к S3.
Размер образа превышает 16 ГБ.
Параметры доступа к S3 указаны верно, но не удалось скачать каталог с артефактами или скрипт.
Полученный образ можно использовать при создании деплоев. Подробнее см. Развернуть модель (создать деплой).