- Начало работы с ML Space
- Инструкции
- Использовать GitLab CI при работе с Environments
- Развертывание и эксплуатация моделей
- Начало работы с деплоями
- Сериализовать модель для использования в Deployments
- Скрипты для прогнозирования на основе обученных моделей
- Провалидировать serving-скрипт
- Создать образ для деплоя
- Развернуть модель (создать деплой)
- Отправить синхронный HTTP-запрос к развернутой модели
- Отправить асинхронный HTTP-запрос к развернутой модели
- Тарификация
- Термины и сокращения
- Обратиться в поддержку
Отправить синхронный HTTP-запрос к развернутой модели
После развертывания образа с моделью можно отправлять запросы на хост.
В этой инструкции рассмотрены синхронные запросы, которые позволяют последовательно обрабатывать запросы к модели. Они применяются, если требуется получить ответ для одиночного запроса, который обрабатывается меньше минуты.
Структура запроса
REST API сервиса использует протокол HTTP для отправки данных и ответы в формате JSON. HTTP-запросы можно отправить из консоли с помощью инструмента командной строки curl.
Для проверки корректности запросов с клиента на сервис и получения ответа от бэкенда рекомендуется использовать набор инструментов Postman.
Стандартный HTTP-запрос состоит из следующих частей:
Конечная точка. URL, который клиент использует для связи с сервисом.
Метод HTTP. Сообщает сервису, какое действие хочет выполнить клиент.
Заголовок (header). Используется для передачи дополнительной информации между сервисом и клиентом.
Тело. Данные, которые отправляются на сервис.
Отправить синхронный запрос, используя ключ
Ключи для получения предсказаний от развернутого деплоя позволяют отправлять запросы к нему, минуя этап аутентификации.
Для отправки запроса к деплою по ключу:
В главном меню платформы перейдите в Deployments → Деплои.
Перейдите в карточку нужного деплоя.
Во вкладке Управление ключами нажмите Сгенерировать ключ.
Созданный ключ является уникальным.
(Опционально) Задайте описание ключа, нажав на плюс в столбце Описание.
Во вкладке Тест API нажмите cURL, чтобы скопировать запрос.
Запрос будет иметь следующий вид:
Пример скопированного запросаcurl 'https://mlspace.ai.cloud.ru/deployments/dgx2-inf/kfserving-1629374788/v1/models/kfserving-1629374788:predict' \- H 'content-type: application/json' \- H 'x-workspace-id: ee8cd85f-1886-4bbe-a2db-12ce69206a26' \-- data - raw '{"key": "value"}'Отправьте запрос.
Пример Python-запросаimport requestsBASE_URL = "https://mlspace.ai.cloud.ru/deployments/dgx2-inf/kfserving-1629374788/v1/models/kfserving-1629374788:predict"results = requests . post (BASE_URL ,json = { "key" : "value" },headers = {"x-workspace-id" : "ee8cd85f-1886-4bbe-a2db-12ce69206a26" ,"content-type" : "application/json" ,"x-api-key" : "i7uOAouA15uA0VHPYioaSQt4KN"})После отправки запроса счетчик в поле Предсказания увеличится на единицу.
Удалить ключ
Для удаления ключа:
В главном меню платформы перейдите в Deployments → Деплои.
Перейдите в карточку нужного деплоя.
Во вкладке Управление ключами выберите ключ, который необходимо удалить, отметив чекбокс.
Нажмите на иконку
в соответствующей строке списка.
В появившемся диалоговом окне подтвердите действие.
- Структура запроса
- Отправить синхронный запрос, используя ключ