Нет запущенного инференса в списке инференсов при создании базы знаний или версии базы знаний, либо на вкладке Чат.
Решение
Убедитесь, что инференс создан правильно. Для этого проверьте параметры:
Runtime
«vLLM» — для любого типа модели;
«vLLM» и «SGLang» — для LLM.
Задача ML модели
Для модели-эмбеддера должно быть значение «Embedding», для модели-реранкера — «Score», для LLM — «Generate».
См.также