Чанк — небольшая, логически цельная часть исходного документа, загруженного в базу знаний. Используются для облегчения индексации и поиска релевантных фрагментов в большом объеме информации. Чанки создаются при помощи экстракторов.
Преимущества использования чанков:
Ограничение контекста — размер чанков состоит из меньшего числа токенов, чем доступно в ответе LLM-модели, что позволяет получать полный ответ без необходимости дополнительных запросов.
Релевантность — документы делятся на чанки согласно общему контексту, что позволяет возвращать пользователю только релевантный текст.
Скорость поиска — из-за небольшого количества токенов в каждом чанке поиск по ним быстрее.
Для каждого из чанков доступны два типа метаданных — системные и пользовательские.
К системным относятся:
datasource_type — тип источника данных;
filetype — тип файла;
filename — название файла;
s3_bucket — бакет S3;
s3_object_key — ключ объекта в S3;
ingestion_job_id — идентификатор задачи индексации;
knowledgebase_id — идентификатор базы знаний;
knowledgebase_version_id — идентификатор версии базы знаний;
project_id — идентификатор проекта;
size_in_tokens — количество токенов в чанке.
Пользовательские метаданные вы можете создавать самостоятельно. Создание доступно:
Для текстовых чанков, добавляемых с помощью API Managed RAG.
Для JSON-файлов, при заполнении поля JQ-схема для метаданных в JSON экстракторе при создании версии базы знаний. Пример добавления пользовательских метаданных из JSON-файла.