Перед началом использования Managed RAG ознакомьтесь с особенностями сервиса и ограничениями.
В сервисе Managed RAG действует квота на количество активных баз знаний в проекте:
Название квоты | Значение |
|---|---|
Количество активных баз знаний | 1 000 |
Для увеличения квот обратитесь в техническую поддержку.
Размер пользовательских файлов, на основе которых создаются версии базы знаний, не должен превышать 25 МБ.
При создании инференса для базы знаний нужно правильно задать параметры:
Runtime:
«vLLM» — для любых типов моделей;
«vLLM» или «SGLang» — только для LLM.
Задача ML-модели:
«Embedding» — для модели-эмбеддера;
«Score» — для модели-реранкера;
«Generate» — для LLM.