Managed RAG

Описание параметров для запроса к версии базы знаний

Эта статья полезна?

В этой статье содержатся описания сложных составных параметров, которые используются при отправке запросов к версии базы знаний.

LLMSettings

Вложенные параметры для LLMSettings
Поле	Тип	Описание
model_settings	array	Настройки модели: type — источник модели. Возможные значения: mlInference. В инференсе, который используете для создания базы знаний, нужно правильно задать параметр Задача ML-модели. Ниже перечислены подходящие значения: для модели-эмбеддера — «Embedding»; для модели-реранкера — «Score»; для LLM — «Generate». foundationModels. model — название модели из Foundation Models или идентификатор инференса. Чтобы получить идентификатор инференса, в сервисе ML Inference перейдите в нужную модель и на вкладке Информация скопируйте часть публичного URL между слешами и .modelrun. Например, в публичном URL https://12345c60-xxx-4527-xxxx-f789f789fb11.modelrun.inference.cloud.ru нужный идентификатор — 12345c60-xxx-4527-xxxx-f789f789fb11.
system_prompt	string	Системный промпт для LLM.

Примечание

Дополнительные параметры для LLMSettings можно посмотреть в методе v1/chat/completions API сервиса Foundation Models. Доступны все параметры кроме:

Эта статья полезна?