- tocdepth
2
Создать образ для деплоя
В этой инструкции описано, как создать образ для деплоя из существующего, а также ограничения и возможные ошибки.
Ограничения
Образ, используемый в деплоях и созданный через сервис «Образы», хранится 30 дней.
Если требуется использовать образ на постоянной основе, соберите кастомный образ или после сборки деплоя скачайте требуемый образ к себе на персональный компьютер и загрузите его в Docker registry с префиксом «deploy-».
Размер образа не должен превышать 16 ГБ.
Если требуется образ размером больше 16 ГБ, создайте кастомный образ и загрузите его в Docker registry с префиксом «deploy-».
Создание образа
Чтобы создать образ:
Перейдите на вкладку и нажмите Создать образ. Откроется диалоговое окно с параметрами нового образа.
В открывшемся окне выберите тип образа.
Если нужен образ для деплоя с одним контейнером на основе kfserving или собственного веб-сервера.
Если нужен образ Triton для раздельного деплоя оптимизированного инференса.
Выберите тип контейнера.
Трансформер. Содержит логику обработки запросов.
Предиктор. Содержит сервер triton и модель машинного обучения.
Выберите базовый образ из списка.
Примечание
Опционально для раздельного деплоя Triton.
Для создания трансформера и предиктора используйте образ
cr.ai.cloud.ru/aicloud-base-images/triton22.04-py3:0.0.32.3.Подключитесь к хранилищу S3.
Выбрать из списка
Указать вручную
Выберите из выпадающего списка ваших бакетов нужный.
Укажите параметры подключения (S3 Endpoint, Access Key ID и Security Key) к чужому бакету вручную. См. Получить credentials к S3.
Заполните поля конфигурации.
Выберите модель, serving-скрипт и файл
requirements.txtили укажите пути до них на S3 вручную.Примечание
Модель и serving-скрипт должны находиться в одном каталоге.
Путь до папки с моделью на S3 указывается в формате
<bucket_name>/<folder>без префиксаs3://.Путь до файла
requirements.txtуказывается опционально в случае сборки кастомного образа.
Если на шаге 2 вы выбрали Triton Inference Server Предиктор, то для образа укажите каталог, в котором находится файл
config.pbtxt.См.также
Нажмите Создать новый образ.
Во вкладке отобразится карточка созданного образа. Дождитесь, пока образ сменит статус «В процессе сборки» на «Готов к работе».
Полученный образ можно использовать при создании деплоев. Подробнее см. Развернуть модель (создать деплой).
Возможные ошибки
Образ может перейти в статус «Ошибка» по одной из причин:
Неверно указан базовый образ, или его нет в Docker registry ML Space.
Неверно указаны параметры доступа к S3.
Размер образа превышает 16 ГБ.
Параметры доступа к S3 указаны верно, но не удалось скачать каталог с артефактами или скрипт.
для Dev & Test