Типы деплоев

Стандартный деплой

Чтобы разместить выбранный образ, нажмите Создать деплой. В результате этих действий образ будет развернут на указанной конфигурации и создана карточка деплоя. В карточке указаны:

• Используемый образ.

• Хост, на который необходимо будет отправлять запросы. Подробнее о запросах к деплою.

• Сведения об используемых ресурсах, количестве активных запущенных экземпляров и возможный диапазон доступных модели экземпляров.

Возможно отфильтровать для отображения только те записи, которые соответствуют заданным условиям. Для добавления фильтра по типу нажмите . Затем — Добавить фильтр. Отфильтруйте данные.

Real time deploy

1. У пользователя есть обученная сериализованная (pickle, h5, checkpoints и др.) модель.

2. Пользователь загружает модель и serving-скрипт на S3 — Evolution, Advanced или внешнее хранилище.

3. Посредством UI/API/Jupyter Notebook (функции client_lib) пользователь вызывает сборку образа и разворачивает образ на сервисе.

4. Автоматизированная система пользователя отправляет HTTP-запросы к модели через REST API и получает прогноз, классификацию и т.д.

Batch deploy

1. У пользователя есть обученная сериализованная (pickle, h5, checkpoints и др.) модель.

2. Пользователь загружает модель и serving-скрипт на S3 — Evolution, Advanced или внешнее.

3. Посредством UI/API/Jupyter Notebook (функции client_lib) пользователь вызывает сборку образа и разворачивает образ на сервисе.

4. Автоматизированная система пользователя отправляет на S3 данные (изображения, звуковые файлы и т.д.).

5. Автоматизированная система пользователя / задача по расписанию инициирует обработку всего, что находится в каталоге на бакете S3. Прогноз либо сохраняется на S3, либо повторно передается к АС пользователя.

6. Модель отправляет предсказание.

Async inference deploy

1. У пользователя есть обученная сериализованная (pickle, h5, checkpoints и др.) модель.

2. Пользователь загружает модель и serving-скрипт на S3 — Evolution, Advanced или внешнее.

3. Посредством UI/API/Jupyter Notebook (функции client_lib) пользователь вызывает сборку образа и разворачивает образ на платформе.

4. Автоматизированная система пользователя отправляет на S3 данные (изображения, звуковые файлы и т.д.).

5. Автоматизированная система пользователя или задача по расписанию инициирует обработку всего, что находится в каталоге на бакете S3. Пользователь/автоматизированная система получает идентификатор асинхронного запроса.

6. По результатам обработки пользователь/автоматизированная система получает статус асинхронного запроса.

7. После выполнения пользователь/автоматизированная система получает результат выполнения асинхронного запроса.