tocdepth: 2

Общие понятия

Managed Metastore — сервис, который позволяет разворачивать Metastore на кластерах Kubernetes. Если к вашему проекту подключено несколько продуктов Evolution, они будут объединены общей клиентской сетью VPC.

Metastore хранит таблицы с описательной частью данных:

название таблицы;
названия колонок;
типы данных колонок;
партиции;
путь к бакету S3, в котором расположены данные.

Пользователь может отправить SQL-запрос к бакету S3. Обработчик данных, например Trino, считывает метаинформацию о нужной таблице в Metastore, получает данные из S3 и возвращает результат в табличном виде.

Managed Metastore позволяет:

разворачивать инстанс в отдельном кластере;
разворачивать несколько Metastore server в инстансе;
безопасно хранить данные для подключения;
разворачивать инстанс с минимальным чистом шагов и настроек.

Вы можете создать несколько инстансов: один для тестирования и один для рабочих задач с конфигурацией. В каждом инстансе можно развернуть несколько Metastore server, которые подключены к разным источникам:

внешний S3;
внутренний S3 Object Storage.

Metastore server

Metastore server — сервер в составе инстанса, подключенный к одному бакету Evolution Object Storage или внешнему S3. В одном инстансе может быть несколько Metastore server с подключениями к разным бакетам, внутренним и внешним. Дополнительные Metastore server можно создать в карточке инстанса.

Metastore для обработки данных

Cloud.ru предоставляет свое решение для обработки данных — Managed Service for Trino. Продукт можно использовать для отправки SQL-запросов к Evolution Object Storage или внешнему S3 благодаря интеграции с Managed Metastore.

Лабораторная работа по интеграции Managed Metastore и Managed Trino доступна на странице Подключение Trino к S3.

Была ли статья полезной?