Типы деплоев
Ниже описаны типы деплоев, доступные на платформе ML Space.
Стандартный деплой
Чтобы разместить выбранный образ, нажмите Создать деплой. В результате этих действий образ будет развернут на указанной конфигурации и создана карточка деплоя. В карточке указаны:
Используемый образ.
Хост, на который необходимо будет отправлять запросы. Подробнее о запросах к деплою.
Сведения об используемых ресурсах, количестве активных запущенных экземпляров и возможный диапазон доступных модели экземпляров.
Возможно отфильтровать для отображения только те записи, которые соответствуют заданным условиям.
Для добавления фильтра по типу нажмите 
.
Затем — Добавить фильтр.
Отфильтруйте данные.
Основные причины ошибок в развертывании модели:
Ошибки в serving-скрипте. Рекомендуем протестировать serving-скрипт с помощью терминала.
Недостаточно свободных ресурсов на сервисе.
Модель разворачивается на базовом образе, в котором нет необходимых библиотек.
Real time deploy
У пользователя есть обученная сериализованная (pickle, h5, checkpoints и др.) модель.
Пользователь загружает модель и serving-скрипт на S3 — Evolution, Advanced или внешнее хранилище.
Посредством UI/API/Jupyter Notebook (функции client_lib) пользователь вызывает сборку образа и разворачивает образ на сервисе.
Автоматизированная система пользователя отправляет HTTP-запросы к модели через REST API и получает прогноз, классификацию и т.д.
Batch deploy
У пользователя есть обученная сериализованная (pickle, h5, checkpoints и др.) модель.
Пользователь загружает модель и serving-скрипт на S3 — Evolution, Advanced или внешнее.
Посредством UI/API/Jupyter Notebook (функции client_lib) пользователь вызывает сборку образа и разворачивает образ на сервисе.
Автоматизированная система пользователя отправляет на S3 данные (изображения, звуковые файлы и т.д.).
Автоматизированная система пользователя / задача по расписанию инициирует обработку всего, что находится в каталоге на бакете S3. Прогноз либо сохраняется на S3, либо повторно передается к АС пользователя.
Модель отправляет предсказание.
Async inference deploy
У пользователя есть обученная сериализованная (pickle, h5, checkpoints и др.) модель.
Пользователь загружает модель и serving-скрипт на S3 — Evolution, Advanced или внешнее.
Посредством UI/API/Jupyter Notebook (функции client_lib) пользователь вызывает сборку образа и разворачивает образ на платформе.
Автоматизированная система пользователя отправляет на S3 данные (изображения, звуковые файлы и т.д.).
Автоматизированная система пользователя или задача по расписанию инициирует обработку всего, что находится в каталоге на бакете S3. Пользователь/автоматизированная система получает идентификатор асинхронного запроса.
По результатам обработки пользователь/автоматизированная система получает статус асинхронного запроса.
После выполнения пользователь/автоматизированная система получает результат выполнения асинхронного запроса.
- Стандартный деплой
- Real time deploy
- Batch deploy
- Async inference deploy