Перед началом использования Managed RAG ознакомьтесь с особенностями сервиса и ограничениями.
В сервисе Managed RAG действует квота на количество активных баз знаний в проекте:
Название квоты | Значение |
|---|---|
Количество активных баз знаний | 1 000 |
Для увеличения квот обратитесь в техническую поддержку.
Размер пользовательских файлов, на основе которых создаются версии базы знаний, не должен превышать 25 МБ.
При создании инференса для базы знаний нужно правильно задать параметры:
Runtime:
vLLM — для любых типов моделей;
vLLM или SGLang — только для LLM.
Задача ML-модели:
Embedding — для модели-эмбеддера;
Score — для модели-реранкера;
Generate — для LLM.
Тип аутентификации — Api-key.