AI Services

В маркетплейсе в разделе AI Services размещены сервисы для решения различных бизнес-кейсов, связанных с задачами обработки естественного языка (NLP), компьютерного зрения (CV) и т. д.

Размещение сервисов в AI Services доступно как open beta (без оплаты покупки) для тестирования спроса и гипотез.

Развертывание сервиса

Для развертывания сервиса в воркспейсе зайдите в карточку выбранного сервиса и нажмите Подключить.

../_images/s__enable_aiservice.png

Во всплывающем окне появится меню для создания деплоя.

../_images/s__deploy_menu.png

Для создания деплоя:

  1. В поле Название деплоя укажите желаемое название.

  2. В поле Количество экземпляров выберите требуемое количество экземпляров деплоя.

  3. Нажмите Создать деплой.

Примечание

  • Если первое значение в поле Количество экземпляров равно нулю, при отсутствии обращений к деплою произойдет его гибернация. Время выхода из гибернации составляет до пяти минут при наличии свободных ресурсов в регионе размещения.

  • Особенностью работы автоскейлинга при уменьшении количества экземпляров деплоя является остановка ресурсов, которая занимает 5-10 минут. Время остановки тарифицируется.

Перейдите Deployments → Деплои для просмотра карточки деплоя развернутого сервиса.

Отправка запросов к сервису, развернутому в виде деплоя

Ключи для получения предсказаний от развернутого деплоя позволяют отправлять запросы к нему, минуя этап аутентификации.

Для отправки запроса к деплою по ключу:

  1. В главном меню платформы перейдите в Deployments → Деплои.

  2. Перейдите в карточку нужного деплоя.

  3. Во вкладке Управление ключами нажмите Сгенерировать ключ.

    ../_images/s__key_control.png

    Созданный ключ является уникальным.

  4. (Опционально) Задайте описание ключа, нажав на плюс в столбце Описание.

  5. Во вкладке Тест API нажмите cURL, чтобы скопировать запрос.

    ../_images/s__deploy_curl.png

    Запрос будет иметь следующий вид:

    Пример скопированного запроса
    curl 'https://mlspace.ai.cloud.ru/deployments/dgx2-inf/kfserving-1629374788/v1/models/kfserving-1629374788:predict' \
      -H 'content-type: application/json' \
      -H 'x-workspace-id: ee8cd85f-1886-4bbe-a2db-12ce69206a26' \
    --data-raw '{"key": "value"}'
    
  6. Отправьте запрос.

    Пример Python-запроса
    import requests
    BASE_URL = "https://mlspace.ai.cloud.ru/deployments/dgx2-inf/kfserving-1629374788/v1/models/kfserving-1629374788:predict"
    
    results = requests.post(
                BASE_URL,
                json={"key": "value"},
                headers={
                  "x-workspace-id": "ee8cd85f-1886-4bbe-a2db-12ce69206a26",
                  "content-type":"application/json",
                  "x-api-key":"116708e901aa481a9c9d4200357ed31d"
                }
              )
    

    После отправки запроса счетчик в поле Предсказания увеличится на единицу.

Для удаления ключа:

  1. В главном меню платформы перейдите в Deployments → Деплои.

  2. Перейдите в карточку нужного деплоя.

  3. Во вкладке Управление ключами выберите ключ, который необходимо удалить, отметив чекбокс.

  4. Нажмите на иконку Кнопка удаления в соответствующей строке списка.

  5. В появившемся диалоговом окне подтвердите действие.

Запустили Evolution free tier
для Dev & Test
Получить