Развернуть модель (создать деплой)

Рассмотрим, как создать деплой, посмотреть статус деплоя или подов, а также как динамически изменить конфигурацию деплоя во время развертывания модели.

Создать деплой

  1. В главном меню платформы перейдите в Deployments → Деплои . На этой вкладке отображается список развернутых деплоев.

  2. Нажмите Создать деплой. Откроется диалоговое окно с параметрами нового деплоя.

  3. В поле Наименование укажите наименование нового деплоя. Имя следует вводить с учетом регистра. Разрешается применять следующие символы: строчные латинские буквы от a до z, цифры от 0 до 9, символ тире (–).

  4. Выберите тип деплоя.

    • Стандартный. Запуск деплоя с одним контейнером на основе kfserving или собственного веб-сервера.

    • Раздельный. Запуск раздельного деплоя оптимизированного инференса.

  5. Выберите регион размещения ресурсов и задайте параметры нового деплоя (подробности в разделе Регионы размещения ресурсов).

  6. Выберите Тип конфигурации и укажите Количество pods.

    Примечание

    Количество используемых GPU определяется как количество экземпляров в текущий момент, умноженное на количество GPU в одном экземпляре.

    Например, при конфигурации от нуля до пяти экземпляров по одному GPU может быть использовано от нуля до пяти GPU.

    • (Опционально для раздельного деплоя) Укажите коэффициент распределения ресурсов между трансформером и предиктором. Коэффициент устанавливает долю ресурсов от выбранной конфигурации, выделяемую для трансформера. Устанавливайте трансформеру как можно меньше ресурсов, тем самым выделяя больше ресурсов для обработки запросов внутри моделей.

  7. Выберите тип образа. Доступны Базовые образы ML Space и Образы Docker registry. Подробнее об использовании образов из Docker registry см. Подготовка репозитория.

    Образы, созданные в модуле Образы, находятся во вкладке Базовые образы ML Space и названы inference-image-xxxxxxxxxx.

  8. Выберите Docker-образ.

    ../../../_images/s__deploy_custom.png

  9. Нажмите Создать деплой.

    Внимание

    Из развернутого деплоя выходить в интернет нельзя. К развернутому деплою возможно обращение при помощи http-запросов.

Логи сборки можно просмотреть, выбрав соответствующий пункт из меню Кнопка с тремя вертикальными точками. Логи можно копировать в текстовом формате для последующего сохранения в файл.

Предупреждение

  • Выбор первого значения в поле Количество Pods равным нулю означает гибернацию деплоя при отсутствии обращений к нему. Время выхода из гибернации составляет до пяти минут при наличии свободных ресурсов в регионе размещения.

  • Особенностью работы автоскейлинга при уменьшении количества экземпляров деплоя является остановка ресурсов, которая занимает 5-10 минут. Время остановки тарифицируется.

Проверить состояние деплоя

После создания деплоя рекомендуем проверить, что он развернут и его экземпляры работают корректно. Для этого:

  1. Перейдите в Deployments → Деплои.

  2. Перейдите в карточку недавно созданного деплоя.

  3. Обратите внимание на статус деплоя.

    • «В очереди» — деплой находится в очереди на выделение ресурсов.

    • «Выполняется» — деплой работает.

    • «Удален» — деплой удален.

  4. Проверьте статусы экземпляров деплоя, перейдя на вкладку Экземпляры. Рядом со статусом отображается иконка Info, при наведении на которую вы увидите состояние контейнера с моделью:

    • «PodInitializing» — создается экземпляр.

    • «ContainerCreating» — создается контейнер.

    • «Running» — экземпляр запущен.

    • «Completed» — экземпляр завершил работу.

    Если рядом со статусом иконка красного цвета Attention, значит, экземпляр завершил работу с одной из ошибок:

    • «CrashLoopBackOff» — контейнер с моделью запускается повторно, далее возникнет ошибка. Рекомендуется исправить код serving-скрипта.

    • «ErrImagePull» — невозможно получить образ.

    • «Error» — внутри контейнера с моделью произошла ошибка, далее последует попытка перезапуска. Рекомендуется исправить код serving-скрипта.

    • «ImagePullBackOff» — происходит повторное получение образа.

    • «ImageInspectError» — невозможно проверить образ.

    • «OOMKilled» — экземпляр остановлен из-за превышения лимита памяти, который установлен в выбранной конфигурации. Рекомендуется изменить конфигурацию деплоя.

    • «RunContainerError» — ошибка запуска контейнера.

    • «CreateContainerError» — ошибка создания контейнера.

Изменить конфигурацию деплоя во время выполнения

В процессе выполнения образа на сервисе есть возможность динамически менять конфигурацию деплоя. Для этого:

  1. Зайдите в карточку деплоя по клику.

    ../../../_images/s__depl_change_conf_part1.png

  2. Задайте конфигурацию экземпляра деплоя и количество экземпляров.

    ../../../_images/s__depl_change_conf_part2.png

  3. Нажмите Сохранить изменения.

Внимание

Если не задавать количество экземпляров деплоя (по умолчанию 0), не будет возможности просматривать логи деплоя.

Обратите внимание на то, что после изменения конфигурации деплоя происходит его повторная сборка (статус «В очереди»).