tocdepth

2

Развернуть модель (создать деплой)

В этой инструкции описано, как создать деплой, посмотреть статус деплоя или подов, а также как динамически изменить конфигурацию деплоя во время развертывания модели. В конце приведена видеоинструкция с примером развертывания готовой модели из AI Marketplace.

Создать деплой

1. В главном меню платформы перейдите в Deployments → Деплои.

2. Нажмите Создать деплой. Откроется диалоговое окно с параметрами нового деплоя.

3. В поле Название укажите название нового деплоя с учетом регистра. Разрешается применять следующие символы: строчные латинские буквы от a до z, цифры от 0 до 9, дефис (–).

4. Выберите тип деплоя.

   • Стандартный. Запуск деплоя с одним контейнером на основе kfserving или собственного веб-сервера.

   • Раздельный. Запуск раздельного деплоя оптимизированного инференса.

5. Установите конфигурацию ресурсов.

   1. Выберите регион размещения вычислительных ресурсов.

   2. Выберите конфигурацию экземпляра деплоя и укажите Количество экземпляров.

      Количество используемых GPU определяется как количество экземпляров в текущий момент, умноженное на количество GPU в одном экземпляре. Например, при конфигурации от нуля до пяти экземпляров по одному GPU может быть использовано от нуля до пяти GPU.

      Примечание

      • Если первое значение в поле Количество экземпляров равно нулю, при отсутствии обращений к деплою произойдет его гибернация. Время выхода из гибернации составляет до пяти минут при наличии свободных ресурсов в регионе размещения.

      • Особенностью работы автоскейлинга при уменьшении количества экземпляров деплоя является остановка ресурсов, которая занимает 5-10 минут. Время остановки тарифицируется.

6. Выберите Docker-образ.

   Доступны Базовые образы ML Space и Образы Docker registry.

   Для выбора кастомного образа воспользуйтесь инструкцией.

7. Нажмите Создать деплой.

Примечание

Из развернутого деплоя можно выходить в интернет. К развернутому деплою можно обращаться с помощью http-запросов.

Чтобы посмотреть логи сборки, выберите соответствующий пункт из меню . Логи можно скопировать в текстовом формате для последующего сохранения в файл.

Проверить состояние деплоя

После создания деплоя рекомендуем проверить, что он развернут и его экземпляры работают корректно. Для этого:

1. Перейдите в Deployments → Деплои.

2. Перейдите в карточку недавно созданного деплоя.

3. Обратите внимание на статус деплоя.

   • «В очереди» — деплой находится в очереди на выделение ресурсов.

   • «Выполняется» — деплой работает.

   • «Удален» — деплой удален.

4. Проверьте статусы экземпляров деплоя, перейдя на вкладку Экземпляры. Рядом со статусом отображается иконка , при наведении на которую вы увидите состояние контейнера с моделью:

   • «PodInitializing» — создается экземпляр.

   • «ContainerCreating» — создается контейнер.

   • «Running» — экземпляр запущен.

   • «Completed» — экземпляр завершил работу.

   Если рядом со статусом иконка красного цвета , значит, экземпляр завершил работу с одной из ошибок:

   • «CrashLoopBackOff» — контейнер с моделью запускается повторно, далее возникнет ошибка. Рекомендуется исправить код serving-скрипта.

   • «ErrImagePull» — невозможно получить образ.

   • «Error» — внутри контейнера с моделью произошла ошибка, далее последует попытка перезапуска. Рекомендуется исправить код serving-скрипта.

   • «ImagePullBackOff» — происходит повторное получение образа.

   • «ImageInspectError» — невозможно проверить образ.

   • «OOMKilled» — экземпляр остановлен из-за превышения лимита памяти, который установлен в выбранной конфигурации. Рекомендуется изменить конфигурацию деплоя.

   • «RunContainerError» — ошибка запуска контейнера.

   • «CreateContainerError» — ошибка создания контейнера.

Изменить конфигурацию деплоя во время выполнения

В процессе выполнения образа на сервисе есть возможность динамически менять конфигурацию деплоя. Для этого:

1. Перейдите в Deployments → Деплои.

2. Перейдите в карточку деплоя.

   

3. Задайте конфигурацию экземпляра деплоя и количество экземпляров.

   

4. Нажмите Сохранить изменения.

Внимание

Если не задать количество экземпляров деплоя (по умолчанию 0), логи деплоя посмотреть невозможно.

Обратите внимание на то, что после изменения конфигурации деплоя происходит его повторная сборка (статус «В очереди»).

Пример развертывания готовой модели из AI Marketplace

Посмотрите обучающее видео о том, как развернуть готовую модель Entity Recognition из AI Marketplace.

Была ли статья полезной?

Да Нет

Предыдущая статья

Создать образ для деплоя

Следующая статья

Отправить синхронный HTTP-запрос к развернутой модели

Запустили Evolution free tier
для Dev & Test

Получить