HetuEngine Описание
HetuEngine является внутренним высокопроизводительным, интерактивным движком анализа SQL и виртуализации данных. Он бесшовно интегрируется с экосистемой big data, чтобы выполнять интерактивные запросы к огромным объёмам данных за секунды и поддерживает кросс‑источниковый и кросс‑доменно‑унифицированный доступ к данным, позволяя проводить одношаговый конвергентный анализ SQL в озере данных, между озёрами и между lakehouse.
HetuEngine Архитектура
HetuEngine состоит из разных модулей. Рисунок 1 показывает архитектуру.
Рисунок 1 HetuEngine архитектура
Модуль | Концепция | Описание |
|---|---|---|
Слой облачных сервисов | HetuEngine CLI/JDBC | HetuEngine клиент, через который отправляется запрос на выполнение и результаты возвращаются и отображаются. |
HSBroker | Компонент управления сервисом HetuEngine. Он управляет и проверяет вычислительные экземпляры, отслеживает состояние здоровья и выполняет автоматическое обслуживание. | |
HSConsole | Предоставляет визуализированные пользовательские интерфейсы и RESTful API для управления информацией о источниках данных, управления вычислительными экземплярами и автоматического запроса задач. | |
HSFabric | Обеспечивает высокопроизводительную и безопасную передачу данных между доменами (центрами обработки данных). | |
Слой движка | Координатор | Узел управления HetuEngine вычислительные экземпляры. Он принимает и парсит SQL‑запросы, генерирует и оптимизирует планы выполнения, назначает задачи и планирует ресурсы. |
Рабочий | Рабочий узел HetuEngine вычислительные экземпляры. Он предоставляет возможности, такие как параллельное извлечение данных из источников и распределённые SQL‑вычисления. |
HetuEngine Сценарии применения
HetuEngine поддерживает кросс‑источник (множество источников данных, таких как Hive, HBase, GaussDB(DWS) и ClickHouse) и кросс‑домена (множество регионов или дата‑центров) быстрый совместный запрос, особенно интерактивный быстрый запрос данных Hive и Hudi в кластере Hadoop (MRS).
Использование функции кросс‑источника HetuEngine
Enterprises обычно хранят огромные объёмы данных, например из различных баз данных и хранилищ, для управления и сбора информации. Однако разнообразные источники данных, гибридные структуры наборов данных и распределённое хранение данных повышают стоимость разработки кросс‑источниковых запросов и удлиняют их продолжительность.
HetuEngine предоставляет единые стандартные SQL‑операторы для реализации кросс‑источникового совместного анализа, упрощая операции кросс‑источникового анализа.
Рисунок 2 HetuEngine кросс‑источниковая функция
Использование функции кросс‑домена HetuEngine
HetuEngine предоставляет единый стандартный SQL для реализации эффективного доступа к множеству источников данных, распределённых в разных регионах (или дата‑центрах), скрывает различия данных в структуре, хранении и регионе и разъединяет данные и приложения.
Рисунок 3 HetuEngine кросс‑региональные функции
