С помощью этого руководства вы последовательно создадите три типа инференса в ML Inference для использования их в базе знаний Managed RAG, затем проверите работоспособность базы знаний.
Вы будете использовать следующие сервисы:
Managed RAG для создания и управления базами знаний.
Object Storage — объектное S3-хранилище с бесплатным хранением файлов объемом до 15 ГБ.
ML Inference — сервис для запуска ML-моделей в облаке с использованием GPU.
Huggingface — платформа для публикации и использования моделей машинного обучения.
Шаги:
Перед началом работы
Зарегистрируйтесь в личном кабинете Cloud.ru.
Если вы уже зарегистрированы, войдите под своей учетной записью.
Убедитесь, что в личном кабинете Cloud.ru подключены сервисы Managed RAG, ML Inference, Object Storage.
Получите токен Huggingface:
Войдите или зарегистрируйтесь на https://huggingface.co.
Перейдите в раздел Access Tokens.
Нажмите Create new token.
Выберите тип Write.
Введите название токена, например rag_with_mlinference.
Нажмите Create token.
Скопируйте токен и сохраните его, например в блокнот. После закрытия страницы он будет недоступен.
Создайте секрет в сервисе Secret Management с параметрами:
В поле Путь введите rag_with_mlinferece.
В поле Значение секрета выберите Стандартный режим и введите сохраненное ранее значение токена Huggingface.
Скачайте текстовый файл faq_products.txt.
1. Подготовьте контент для базы знаний
Добавьте источник для базы знаний в Evolution Object Storage:
Создайте папку rag-inference-kb/ в бакете и загрузите в нее файл faq_products.txt, скачанный ранее.
2. Создайте инференс для модели-эмбеддера
Инференс создаетcя на примере модели с Huggingface Qwen/Qwen3-Embedding-0.6B.
Перейдите в личный кабинет Cloud.ru, AI Factory → ML Inference.
На вкладке Model RUN нажмите Создать.
Укажите название embedder-for-rag.
Выберите для Runtime значение vLLM.
Добавьте модель:
Нажмите Добавить из Hugging Face.
В поле Репозиторий с моделью Hugging Face вставьте скопированное название модели Qwen/Qwen3-Embedding-0.6B.
В поле Токен доступа в Hugging Face выберите секрет rag_with_mlinferece, созданный ранее.
Нажмите Добавить.
Дождитесь расчета ресурсов.
В поле Задача ML модели выберите Embedding — отличительная черта инференса такого типа.
Остальные параметры оставьте по умолчанию и нажмите Продолжить.
Активируйте опцию Не выключать модель.
(Опционально) Настройте масштабирование.
(Опционально) В настройке Аутентификация выберите сервисный аккаунт.
(Опционально) В настройке Логирование укажите лог‑группу.
Нажмите Создать.
Дождитесь, когда инференс перейдет в статус «Запущен».
Перейдите на вкладку Информация и скопируйте идентификатор инференса — часть публичного URL между https:// и .modelrun.
Например, в публичном URL https://12345c60-xxx-4527-xxxx-f789f789fb11.modelrun.inference.cloud.ru нужный идентификатор — 12345c60-xxx-4527-xxxx-f789f789fb11.
3. Создайте инференс для модели-реранкера
Инференс создаетcя на примере модели с Huggingface Qwen/Qwen3-Reranker-0.6B.
Перейдите в личный кабинет Cloud.ru, AI Factory → ML Inference.
На вкладке Model RUN нажмите Создать.
Укажите название reranker-for-rag.
Выберите для Runtime значение vLLM.
Добавьте модель:
Нажмите Добавить из Hugging Face.
В поле Репозиторий с моделью Hugging Face вставьте скопированное название модели Qwen/Qwen3-Reranker-0.6B.
В поле Токен доступа в Hugging Face выберите секрет rag_with_mlinferece, созданный ранее.
Нажмите Добавить.
Дождитесь расчета ресурсов.
В поле Задача ML модели выберите Score — отличительная черта инференса такого типа.
Остальные параметры оставьте по умолчанию и нажмите Продолжить.
Активируйте опцию Не выключать модель.
(Опционально) Настройте масштабирование.
(Опционально) В настройке Аутентификация выберите сервисный аккаунт.
(Опционально) В настройке Логирование укажите лог‑группу.
Нажмите Создать.
Дождитесь, когда инференс перейдет в статус «Запущен».
Перейдите на вкладку Информация и скопируйте идентификатор инференса — часть публичного URL между https:// и .modelrun.
Например, в публичном URL https://12345c60-xxx-4527-xxxx-f789f789fb11.modelrun.inference.cloud.ru нужный идентификатор — 12345c60-xxx-4527-xxxx-f789f789fb11.
4. Создайте инференс для LLM
Инференс создаетcя на примере модели с Huggingface t-tech/T-lite-it-1.0.
Перейдите в личный кабинет Cloud.ru, AI Factory → ML Inference.
На вкладке Model RUN нажмите Создать.
Укажите название llm-for-rag.
Выберите для Runtime значение vLLM.
Добавьте модель:
Нажмите Добавить из Hugging Face.
В поле Репозиторий с моделью Hugging Face вставьте скопированное название модели t-tech/T-lite-it-1.0.
В поле Токен доступа в Hugging Face выберите секрет rag_with_mlinferece, созданный ранее.
В поле Токен доступа в Hugging Face выберите созданный токен rag_with_mlinferece → версия 1.
Нажмите Добавить.
Дождитесь расчета ресурсов.
В поле Задача ML модели выберите Generate — отличительная черта инференса такого типа.
Остальные параметры оставьте по умолчанию и нажмите Продолжить.
Активируйте опцию Не выключать модель.
(Опционально) Настройте масштабирование.
(Опционально) В настройке Аутентификация выберите сервисный аккаунт.
(Опционально) В настройке Логирование укажите лог‑группу.
Нажмите Создать.
Дождитесь, когда инференс перейдет в статус «Запущен».
Перейдите на вкладку Информация и скопируйте идентификатор инференса — часть публичного URL между https:// и .modelrun.
Например, в публичном URL https://12345c60-xxx-4527-xxxx-f789f789fb11.modelrun.inference.cloud.ru нужный идентификатор — 12345c60-xxx-4527-xxxx-f789f789fb11.
5. Создайте базу знаний с использованием инференса
На этом шаге вы создадите базу знаний на основе загруженных документов и проиндексируете ее для использования с языковыми моделями.
Перейдите в AI Factory → Managed RAG.
Нажмите Создать базу знаний.
В поле Название введите kb-rag-with-inference.
В блоке Источники из S3 нажмите Выбрать и выберите папку rag-inference-kb.
В поле Расширение файлов выберите txt.
Активируйте опцию Вручную настроить обработку документов и модель.
Нажмите Продолжить.
Пропустите настройку экстрактора и нажмите Продолжить.
Выберите источник модели ML Inference.
В списке выберите созданный инференс embedder-for-rag.
Нажмите Создать.
Дождитесь, пока первая версия базы знаний перейдет в статус «Активна».
Перейдите в созданную версию базы знаний.
Скопируйте значения полей ID версии и ID базы знаний.
6. Проверьте работу базы знаний
Вы можете дополнительно проверить работу с базой знаний с помощью личного кабинета или API. Рекомендуется использовать оба способа.
Перейдите в созданную версию базы знаний.
Перейдите на вкладку Чат.
Активируйте опцию Использовать модель-реранкер.
В качестве источника модели‑реранкера выберите ML Inference.
Выберите созданный инференс reranker-for-rag.
В качестве Модель‑LLM выберите ML Inference и из списка выберите инференс llm-for-rag.
Отправьте сообщение в чате и получите ответ.
Что дальше
С этим руководством вы создали базу знаний на основе нескольких инференсов моделей.
Теперь можно отправлять запросы к инференсу.
Узнавайте больше о прикладных сценариях и примерах решения бизнес-задач, получайте навыки управления облаком, выполняя практические руководства.