Инференс текстовых моделей (TGI)

Text Generation Inference (TGI) — среда исполнения для развертывания и использования больших текстовых моделей. TGI обеспечивает высокую производительность создания текстов для наиболее популярных открытых больших текстовых моделей.

Text Generation Inference (TGI) в ML Inference поддерживает задачу MultiModalGeneration.

Возможно указать до трех адаптеров (дополнительных моделей).