Общие понятия
Managed Metastore — сервис, который позволяет разворачивать Metastore на кластерах Kubernetes. Если к вашему проекту подключено несколько продуктов Evolution, они будут объединены общей клиентской сетью VPC.
Metastore хранит таблицы с описательной частью данных:
название таблицы;
названия колонок;
типы данных колонок;
партиции;
путь к бакету S3, в котором расположены данные.
Пользователь может отправить SQL-запрос к бакету S3. Обработчик данных, например Trino, считывает метаинформацию о нужной таблице в Metastore, получает данные из S3 и возвращает результат в табличном виде.
Managed Metastore позволяет:
разворачивать инстанс в отдельном кластере;
разворачивать несколько Metastore server в инстансе;
безопасно хранить данные для подключения;
разворачивать инстанс с минимальным чистом шагов и настроек.
Вы можете создать несколько инстансов: один для тестирования и один для рабочих задач с конфигурацией. В каждом инстансе можно развернуть несколько Metastore server, которые подключены к разным источникам:
внешний S3;
внутренний S3 Object Storage.
Metastore server
Metastore server — сервер в составе инстанса, подключенный к одному бакету Evolution Object Storage или внешнему S3. В одном инстансе может быть несколько Metastore server с подключениями к разным бакетам, внутренним и внешним. Дополнительные Metastore server можно создать в карточке инстанса.
Metastore для обработки данных
Cloud.ru предоставляет свое решение для обработки данных — Managed Service for Trino. Продукт можно использовать для отправки SQL-запросов к Evolution Object Storage или внешнему S3 благодаря интеграции с Managed Metastore.
Лабораторная работа по интеграции Managed Metastore и Managed Trino доступна на странице Подключение Trino к S3.
- Metastore server
- Metastore для обработки данных