Общие понятия

Managed Metastore — сервис, который позволяет разворачивать Metastore на кластерах Kubernetes. Если к вашему проекту подключено несколько продуктов Evolution, они будут объединены общей клиентской сетью VPC.

Metastore хранит таблицы с описательной частью данных:

• название таблицы;

• названия колонок;

• типы данных колонок;

• партиции;

• путь к бакету S3, в котором расположены данные.

Пользователь может отправить SQL-запрос к бакету S3. Обработчик данных, например Trino, считывает метаинформацию о нужной таблице в Metastore, получает данные из S3 и возвращает результат в табличном виде.

Managed Metastore позволяет:

• разворачивать инстанс в отдельном кластере;

• безопасно хранить данные для подключения;

• разворачивать инстанс с минимальным чистом шагов и настроек.

Вы можете создать несколько инстансов: один для тестирования и один для рабочих задач с конфигурацией.

Один инстанс может подключиться только к одному источнику. Если таблицы располагаются в разных бакетах, необходимо создать отдельные инстансы для каждого.

• инстанс A — для внешнего S3;

• инстанс B — для бакета X Object Storage;

• инстанс C — для бакета Y Object Storage.

К Hive Metastore всех версий можно подключиться по протоколу Thrift, а начиная с версии Hive Metastore 4.1 — через Iceberg REST Catalog. Параметры подключения можно узнать из карточки инстанса или получить с помощью API-запроса.