Создать образ для деплоя
В этой инструкции описано, как создать образ для деплоя из существующего, а также ограничения и возможные ошибки.
Ограничения
Образ, используемый в деплоях и созданный через сервис «Образы», хранится 30 дней.
Если требуется использовать образ на постоянной основе, соберите кастомный образ или после сборки деплоя скачайте требуемый образ к себе на персональный компьютер и загрузите его в Docker registry с префиксом «deploy-».
Размер образа не должен превышать 16 ГБ.
Если требуется образ размером больше 16 ГБ, создайте кастомный образ и загрузите его в Docker registry с префиксом «deploy-».
Создание образа
Чтобы создать образ:
Перейдите на вкладку и нажмите Создать образ. Откроется диалоговое окно с параметрами нового образа.
В открывшемся окне выберите тип образа.
Если нужен образ для деплоя с одним контейнером на основе kfserving или собственного веб-сервера.
Если нужен образ Triton для раздельного деплоя оптимизированного инференса.
Выберите тип контейнера.
Трансформер. Содержит логику обработки запросов.
Предиктор. Содержит сервер triton и модель машинного обучения.
Укажите базовый образ.
Выбрать из списка
Указать вручную
Выберите из выпадающего списка базовый образ из Docker registry ML Space, на основе которого будет собран новый образ.
Укажите путь до созданного вами образа, на основе которого будет собран новый образ.
Примечание
Опционально для раздельного деплоя Triton.
Для создания трансформера и предиктора используйте образ
cr.ai.cloud.ru/aicloud-base-images/triton22.04-py3:0.0.32.3.Подключитесь к хранилищу S3.
Выбрать из списка
Указать вручную
Выберите из выпадающего списка ваших бакетов нужный.
Укажите параметры подключения (S3 Endpoint, Access Key ID и Security Key) к чужому бакету вручную. См. Получить credentials к S3.
Заполните поля конфигурации.
Выберите модель, serving-скрипт и файл
requirements.txtили укажите пути до них на S3 вручную.Примечание
Модель и serving-скрипт должны находиться в одном каталоге.
Путь до папки с моделью на S3 указывается в формате
<bucket_name>/<folder>без префиксаs3://.Путь до файла
requirements.txtуказывается опционально в случае сборки кастомного образа.
Если на шаге 2 вы выбрали Triton Inference Server Предиктор, то для образа укажите каталог, в котором находится файл
config.pbtxt.См.также
Нажмите Создать новый образ.
Во вкладке отобразится карточка созданного образа. Дождитесь, пока образ сменит статус «В процессе сборки» на «Готов к работе».
Полученный образ можно использовать при создании деплоев. Подробнее см. Развернуть модель (создать деплой).
Возможные ошибки
Образ может перейти в статус «Ошибка» по одной из причин:
Неверно указан базовый образ, или его нет в Docker registry ML Space.
Неверно указаны параметры доступа к S3.
Размер образа превышает 16 ГБ.
Параметры доступа к S3 указаны верно, но не удалось скачать каталог с артефактами или скрипт.
для Dev & Test