Каждая версия базы знаний состоит из источников данных и чанков, образованных из этих данных.
Managed RAG поддерживает два вида источников данных:
Object Storage — объектное хранилище S3.
Используется для получения документов при создании версии и для хранения ее чанков и эмбеддингов после создания.
Custom — с его помощью можно добавлять дополнительные чанки в ранее созданные версии.
Чанки передаются через Public API.
Обработка содержимого из источников делится на 4 этапа:
Сканирование.
Извлечение.
Обработка.
Загрузка.
При успешной обработке содержимое переходит в статус «Активный».
При добавлении новых документов в бакет Object Storage они не преобразуются в чанки и не добавляются в базу знаний. Чтобы добавить новые документы, выполните синхронизацию:
вручную — если новые документы добавляются редко;
автоматически по расписанию — если документы добавляются постоянно.
Чанк — небольшая, логически цельная часть исходного документа, загруженного в базу знаний. Используются для превращения большого объема информации в небольшие фрагменты, что облегчает их индексацию и поиск.
Преимущества использования чанков:
Ограничение контекста — размер чанков состоит из меньшего числа токенов, чем доступно в ответе LLM-модели, что позволяет получать полный ответ без необходимости дополнительных запросов.
Релевантность — документы делятся на чанки согласно общему контексту, что позволяет возвращать пользователю только релевантный текст.
Скорость поиска — из-за небольшого количества токенов в каждом чанке поиск по ним быстрее.