Облачная платформаAdvanced

Bucket Inventory Обзор

Эта статья полезна?
Язык статьи: Русский
Показать оригинал
Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

Функция bucket inventory периодически генерирует списки метаданных объектов в bucket. Inventory помогают лучше понять статусы объектов в bucket.

Inventory представляет собой файл CSV. Файлы inventory автоматически загружаются в указанный bucket.

Вы указываете, что inventory генерируются для объектов с одинаковым префиксом имени объекта. Вы также можете задать интервал генерации inventory и указать, включать ли в файл inventory все версии объектов. Метаданные объектов, которые вы указываете в inventory, включают размер файла, время последнего изменения, класс хранения, ETag, многокомпонентную загрузку, статус шифрования и статус репликации.

Ограничения

  • В bucket может быть не более 10 правил inventory.
  • Исходный bucket (для которого настроен inventory) и целевой bucket (в котором хранятся сгенерированные файлы inventory) должны принадлежать одной учетной записи.
  • Исходный и целевой bucket должны находиться в одном регионе.
  • Файлы inventory должны быть в формате CSV.
  • OBS может генерировать файлы inventory для всех объектов в bucket или группы объектов, имена которых начинаются с одинакового префикса.
  • Если у bucket несколько правил inventory, перекрытие правил inventory недопустимо.
    • Если у bucket уже есть правило inventory для всего bucket, новые правила inventory, фильтрующие объекты по префиксам, создать нельзя. Если требуется правило inventory, охватывающее только подмножество объектов в bucket, удалите правило inventory, настроенное для всего bucket.
    • Если уже существует правило inventory, фильтрующее объекты по указанному префиксу, создать правило inventory для всего bucket нельзя. Чтобы создать правило inventory для всего bucket, убедитесь, что у bucket нет других правил inventory, фильтрующих объекты по указанным префиксам.
    • Если у bucket уже есть правило inventory, фильтрующее объекты по префиксу имени объекта ab, фильтр нового правила inventory не может начинаться с a или abc. Чтобы создать такое правило, сначала необходимо удалить существующее правило inventory, конфликтующее с создаваемым правилом.
  • Файлы bucket inventory могут быть зашифрованы только в режиме SSE-KMS.
  • В целевом бакете не может быть включено server-side encryption.

Содержимое в Inventory File

Table 1 перечисляет все возможные поля метаданных, которые может содержать файл инвентаризации.

Table 1 Поля метаданных объектов, разрешённые в файле инвентаризации

Метаданные

Описание

Бакет

Имя исходного бакета

Ключ

Имя объекта. Каждый объект в бакете имеет уникальный ключ. Имена объектов в файле инвентаризации кодируются в URL с использованием UTF-8 и должны быть декодированы перед использованием.

VersionId

ID версии объекта. Это поле не включается в файл инвентаризации, если ObjectVersions в конфигурации инвентаризации установлен в Current version only.

IsLatest

Это поле устанавливается в True, если версия объекта является последней. Это поле не включается в файл инвентаризации, если ObjectVersions в конфигурации инвентаризации установлен в Current version only.

IsDeleteMarker

Когда для исходного бакета включено версионирование, удаление объекта создаст новый набор метаданных объекта и установит IsDeleteMarker метаданных в true. Это поле не включается в файл инвентаризации, если ObjectVersions в конфигурации инвентаризации установлен в Current version only.

Size

Размер объекта, в байтах

LastModifiedDate

Дата создания объекта или дата последнего изменения

ETag

Шестнадцатеричный дайджест MD5 объекта. ETag является уникальным идентификатором содержимого объекта. Он отражает, изменилось ли содержимое объекта. Например, если значение ETag равно A при загрузке объекта, но меняется на B при скачивании объекта, это означает, что содержимое объекта было изменено.

StorageClass

Класс хранения объекта

IsMultipartUploaded

Указывает, загружен ли объект с помощью multipart upload

EncryptionStatus

Статус шифрования объекта

Inventory File Name

Имя файла инвентаризации имеет следующий формат:

destinationPrefix/sourceBucketName/inventoryId/yyyy-MM-dd'T'HH-mm'Z'/files/UUID_index.csv
  • destinationPrefix указывает префикс, указанный в конфигурации инвентаризации, который может использоваться для группировки файлов инвентаризации. Если префикс не указан, префикс по умолчанию — BucketInventory.
  • sourceBucketName указывает исходный бакет, для которого настроена инвентаризация. Это поле может предотвращать конфликты, когда файлы инвентаризации разных исходных бакетов сохраняются в один и тот же целевой бакет.
  • inventoryId может предотвращать конфликты, когда несколько файлов инвентаризации одного и того же исходного бакета отправляются в один и тот же целевой бакет.
  • yyyy-MM-dd'T'HH-mm'Z' указывает время и дату начала генерации инвентаризации, когда начинается сканирование бакета. Объекты, загруженные в исходный бакет после этого времени, могут не быть включены в файл инвентаризации.
  • UUID_index.csv указывает один из файлов инвентаризации.

Файл manifest.json

Если в бакете содержится большое количество объектов, для одной конфигурации инвентаризации может быть сгенерировано несколько файлов инвентаризации. Генерация этих файлов занимает некоторое время. Например, если в бакете 200 000 объектов, генерация всех файлов инвентаризации займет около 1,5 минуты. Через один‑два часа после генерации всех файлов инвентаризации будет создан файл manifest.json. Файл manifest.json содержит информацию обо всех сгенерированных в этот раз файлах инвентаризации, включая:

  • sourceBucket — указывает имя исходного бакета
  • destinationBucket — указывает имя целевого бакета
  • version — указывает версию инвентаризации
  • fileFormat — указывает формат файла инвентаризации
  • fileSchema — указывает поля метаданных объектов, содержащиеся в файлах инвентаризации
  • files — указывает список всех файлов инвентаризации
  • key — указывает имя файла инвентаризации
  • size — указывает размер файла инвентаризации в байтах
  • inventoriedRecord который указывает количество записей инвентаря

Ниже приведён пример файла manifest.json.

{
"sourceBucket":"user001",
"destinationBucket":"bucket001",
"version":"2019-01-03",
"fileFormat":"CSV",
"fileSchema":"Bucket,Key,Size,LastModifiedDate,ETag,StorageClass,IsMultipartUploaded,ReplicationStatus,EncryptionStatus",
"files":[
{
"key":"inventory%2Fuser001%2Ftest_id%2F2019-01-03T12-28Z%2Ffiles%2F0000016813AF58E66806C1E2D7F15155_1.csv",
"size":6705647390,
"inventoriedRecord":70585762,
}
]
}

Имя файла manifest.json выглядит следующим образом (для получения подробностей о каждом поле см. Inventory File Name):

destinationPrefix/sourceBucketName/inventoryId/yyyy-MM-dd'T'HH-mm'Z'/manifest.json

Файл symlink.txt

The symlink.txt file records the path of an inventory file. It helps quickly find all inventory files in big data scenarios. Apache Hive is compatible with the symlink.txt file. Hive can automatically find the symlink.txt file and the inventory files recorded in it.

Имя файла symlink.txt выглядит следующим образом (для получения подробностей о каждом поле см. Inventory File Name):

destinationPrefix/sourceBucketName/inventoryId/hive/dt=YYYY-MM-DD-00-00/symlink.txt