AI Services

В маркетплейсе в разделе AI Services размещены сервисы для решения различных бизнес-кейсов, связанных с задачами обработки естественного языка (NLP), компьютерного зрения (CV) и т. д.

Размещение сервисов в AI Services доступно как open beta (без оплаты покупки) для тестирования спроса и гипотез.

Развертывание сервиса

Для развертывания сервиса в воркспейсе зайдите в карточку выбранного сервиса и нажмите Подключить.

Во всплывающем окне появится меню для создания деплоя.

Для создания деплоя:

В поле Название деплоя укажите желаемое название.
В поле Количество экземпляров выберите требуемое количество экземпляров деплоя.
Нажмите Создать деплой.

Предупреждение

Выбор первого значения в поле Количество Pods равным нулю означает гибернацию деплоя при отсутствии обращений к нему. Время выхода из гибернации составляет до пяти минут при наличии свободных ресурсов в регионе размещения.
Особенностью работы автоскейлинга при уменьшении количества экземпляров деплоя является остановка ресурсов, которая занимает 5-10 минут. Время остановки тарифицируется.

Перейдите Deployments → Деплои для просмотра карточки деплоя развернутого сервиса.

Отправка запросов к сервису, развернутому в виде деплоя

Ключи для получения предсказаний от развернутого деплоя позволяют отправлять запросы к нему, минуя этап аутентификации. Создание ключа осуществляется по кнопке Сгенерировать ключ в карточке деплоя.

Создаваемый ключ является уникальным.

Для ключей можно создать описание, нажав на значок плюса в столбце Описание.

Для отправки запроса к деплою по ключу:

Нажмите Сгенерировать ключ.
Задайте описание ключа (например, тестовый ключ для проверки функции).

Нажмите cURL, чтобы скопировать запрос.

В результате копирования получится запрос, имеющий следующий вид:

Пример скопированного запроса

curl 'https://mlspace.aicloud.sbercloud.ru/deployments/dgx2-inf/kfserving-1629374788/v1/models/kfserving-1629374788:predict' \
  -H 'content-type: application/json' \
  -H 'x-workspace-id: ee8cd85f-1886-4bbe-a2db-12ce69206a26' \
--data-raw '{"key": "value"}'

Пример Python-запроса

import requests
BASE_URL = "https://mlspace.aicloud.sbercloud.ru/deployments/dgx2-inf/kfserving-1629374788/v1/models/kfserving-1629374788:predict"

results = requests.post(
            BASE_URL,
            json={"key": "value"},
            headers={
              "x-workspace-id": "ee8cd85f-1886-4bbe-a2db-12ce69206a26",
              "content-type":"application/json",
              "x-api-key":"116708e901aa481a9c9d4200357ed31d"
            }
          )

Отправьте запрос.

После отправки запроса счетчик в поле Предсказания увеличится на единицу.

Для удаления ключа:

Выберите ключ, который необходимо удалить, отметив чекбокс.
Нажмите на иконку в соответствующей строке списка.
В появившемся диалоговом окне подтвердите действие нажатием на Подтвердить.

AI Services

Развертывание сервиса

Отправка запросов к сервису, развернутому в виде деплоя

Была ли статья полезной?