Evolution
Тема интерфейса

Создание базы знаний из md-файлов

В руководстве описан сценарий создания базы знаний на основе markdown-файлов, чтобы продемонстрировать, как дополнительная информация из внешних источников улучшает качество ответов языковой модели.

В результате вы получите практические навыки работы с технологией Retrieval Augmented Generation (RAG), которая позволяет расширять контекст запросов к языковым моделям за счет внешних данных.

Вы будете использовать следующие сервисы:

  • Evolution Managed RAG — сервис для создания и управления базами знаний, используемыми при генерации ответов языковыми моделями.

  • Evolution Object Storage — объектное хранилище для размещения документов, из которых будет формироваться база знаний.

  • T-lite — легковесная языковая модель, с которой вы будете взаимодействовать в чате и с помощью клиента Chatbox.

Шаги:

Перед началом работы

  1. Если вы уже зарегистрированы, войдите под своей учетной записью.

Шаг 1. Подготовьте контент для базы знаний

На этом шаге вы подготовите документы с информацией об AI-ассистенте Cloud.ru и загрузите их в объектное хранилище для последующего использования в базе знаний.

  1. Распакуйте архив cloudia_docs.zip на вашем компьютере.

    Внутри распакованной папки cloudia_docs находятся файлы в формате .md.

  2. Создайте бакет в сервисе Object Storage со следующими параметрами:

    1. В поле Название укажите уникальное название бакета, например rag-kb-cloudia-docs.

    2. В поле Класс хранения выберите «Стандартный».

    Остальные параметры оставьте по умолчанию.

  3. В бакете нажмите Создать папку и укажите ее название, например cloudia_docs.

  4. Загрузите файлы в папку бакета:

    1. Откройте папку cloudia_docs в бакете.

    2. Нажмите Загрузить.

    3. Выберите все файлы из локальной папки cloudia_docs.

    4. Подтвердите загрузку.

    Ожидайте завершения загрузки — процесс может занять несколько секунд в зависимости от скорости интернет-соединения.

Шаг 2. Создайте базу знаний

На этом шаге вы создадите базу знаний на основе загруженных документов и проиндексируете ее для использования с языковыми моделями.

  1. В личном кабинете перейдите в AI Factory → Managed RAG.

  2. Нажмите Создать базу знаний.

    1. В поле Название укажите имя базы знаний, например cloudia-kb.

    2. При необходимости введите описание в поле Описание.

    3. В поле Путь к папке в бакете укажите путь в формате s3://<bucket_name>/cloudia_docs/, где <bucket_name> — название созданного вами бакета, например rag-kb-cloudia-docs.

    4. В поле Расширение файлов введите md и выберите его.

    Остальные параметры оставьте по умолчанию.

  3. Нажмите Создать.

Дождитесь завершения индексации базы знаний и ее версии — это займет несколько минут.

Шаг 3. Проверьте работу LLM с базой знаний

На этом шаге вы сравните ответы языковой модели T-lite без использования базы знаний и с ней, чтобы оценить улучшения контекста.

  1. Ознакомьтесь с ответом модели «t-tech/T-lite-it-1.0» на следующий вопрос:

    Расскажи о новом AI-ассистенте Cloud.ru.

    Модель генерирует ответ на основе собственных знаний, полученных при обучении, и предоставляет вымышленную информацию.

    ../_images/s__chatbox-answer.png

    Чтобы самостоятельно проверить этот запрос, подключите Foundation Models в стороннем клиенте Chatbox.

  2. В личном кабинете перейдите в AI Factory → Managed RAG.

  3. Выберите созданную базу знаний (например, cloudia-kb). Она должна быть в статусе «Активная».

  4. Перейдите в версию базы знаний и нажмите Чат.

  5. Задайте тот же вопрос:

    Расскажи о новом AI-ассистенте Cloud.ru.
    Теперь модель использует информацию из базы знаний и предоставляет точный, достоверный ответ, основанный на загруженных документах.
    ../_images/s__rag-answer.png

Что дальше

С этим руководством вы создали базу знаний с помощью Managed RAG, загрузили в нее документацию об AI-ассистенте Cloud.ru и проверили, как дополнительные данные улучшают качество ответов языковой модели.

Вы убедились, что даже «легковесная» модель может давать точные и релевантные ответы при использовании технологии RAG, что открывает возможности для создания специализированных ассистентов по внутренней документации, технической поддержке и другим задачам.

Узнавайте больше о прикладных сценариях и примерах решения бизнес-задач, получайте навыки управления облаком, выполняя практические руководства.