Вызвать модель через публичный эндпоинт

Вы можете вызвать модель через эндпоинт в статусе «Запущен».

1. На верхней панели слева нажмите и перейдите в раздел AI Factory → ML Inference.

2. Выберите Публичные эндпоинты.

3. Нажмите на название эндпоинта.

4. В строке Публичный URL нажмите Копировать URL.

   Публичный адрес имеет вид:

   https://<public_endpoint_id>-shared.modelrun.inference.cloud.ru
   
   

   Где:

   • <public_endpoint_id> — идентификатор публичного эндпоинта;

   • shared — признак публичного эндпоинта;

   • modelrun.inference.cloud.ru — домен сервиса инференса.

5. Добавьте к адресу путь API вашей модели.

   При включенной аутентификации укажите заголовок Authorization: Bearer <access_token> или Authorization: Bearer <api_key>, в зависимости от выбранного способа.

   Пример запроса к /v1/chat/completions:

   {
     "model": "endpoint-selected",
     "messages": [
        {
           "role": "user",
           "content": "Привет"
        }
     ],
     "max_tokens": 32,
     "stream": false
   }
   
   

Публичный эндпоинт выбирает инференс по настроенным условиям и подставляет значение в поле model. Для маршрутизации по условиям добавьте к запросу заголовок, например: X-Model-Version: beta.