Описание параметров для запроса к версии базы знаний

Эта статья полезна?

Статья содержит описания обязательных параметров, которые используются при отправке запросов к версии базы знаний.

Параметры объединены в три блока:

retrieval_configuration — настройки поисковой выдачи.
reranking_configuration — настройки модели-реранкера.
generation_configuration — настройки LLM-модели

retrieval_configuration

Вложенные параметры для retrieval_configuration
Поле	Тип	Описание
number_of_results	int	Количество возвращаемых чанков в поисковой выдаче.
retrieval_type	string	тип поиска. Сейчас доступен только параметр SEMANTIC — семантический поиск.

reranking_configuration

Вложенные параметры для reranking_configuration
Поле	Тип	Описание
model_source	string	Источник модели. Возможные значения: FOUNDATION_MODELS ML_INFERENCE При создании инференса для базы знаний нужно правильно задать параметры: Runtime: «vLLM» — для любых типов моделей; «vLLM» или «SGLang» — только для LLM. Задача ML-модели: «Embedding» — для модели-эмбеддера; «Score» — для модели-реранкера; «Generate» — для LLM.
model_name	string	Название модели. Используется только если в поле model_source указано FOUNDATION_MODELS.
model_run_id	string	Идентификатор инференса модели. Используется только если в поле model_source указано ML_INFERENCE. Чтобы получить идентификатор инференса, в сервисе ML Inference перейдите в нужную модель и на вкладке Информация скопируйте часть публичного URL между слешами и .modelrun. Например, в публичном URL https://12345c60-xxx-4527-xxxx-f789f789fb11.modelrun.inference.cloud.ru нужный идентификатор — 12345c60-xxx-4527-xxxx-f789f789fb11.
number_of_reranked_results	int	Количество чанков в поисковой выдаче после переранжирования. Не может превышать значение параметра "number_of_results".

generation_configuration

Вложенные параметры для generation_configuration
Поле	Тип	Описание
model_source	string	Источник модели. Возможные значения: FOUNDATION_MODELS ML_INFERENCE При создании инференса для базы знаний нужно правильно задать параметры: Runtime: «vLLM» — для любых типов моделей; «vLLM» или «SGLang» — только для LLM. Задача ML-модели: «Embedding» — для модели-эмбеддера; «Score» — для модели-реранкера; «Generate» — для LLM.
model_name	string	Название модели. Используется только если в поле model_source указано FOUNDATION_MODELS.
model_run_id	string	Идентификатор инференса модели. Используется только если в поле model_source указано ML_INFERENCE. Чтобы получить идентификатор инференса, в сервисе ML Inference перейдите в нужную модель и на вкладке Информация скопируйте часть публичного URL между слешами и .modelrun. Например, в публичном URL https://12345c60-xxx-4527-xxxx-f789f789fb11.modelrun.inference.cloud.ru нужный идентификатор — 12345c60-xxx-4527-xxxx-f789f789fb11.
system_prompt	string	Системный промпт для LLM.
number_of_chunks_in_context	int	Количество чанков из поисковой выдачи для контекста LLM.

Примечание

Дополнительные параметры для generation_configuration можно посмотреть в методе v1/chat/completions API сервиса Foundation Models. Доступны все параметры кроме:

messages
model
stream
stream_options
tools
tool_choice
parallel_tool_calls

Поддержка Юридические документы