Корпоративное хранилище данных
Решение для создания корпоративного хранилища данных в облаке Advanced реализуется с использованием DWS — универсальное и надежное хранилище корпоративной информации, которое обеспечивает следующие возможности:
Реализация на основе GaussDB, является аналогом GreenPlum.
Работа с БД с сотнями миллионов и миллиардами записей.
Отказоустойчивость «из коробки».
Гибридное хранения строк и столбцов для решения любой задачи.
Автоматическое резервное копирование «из коробки».
Гибкое масштабирование в зависимости от рабочей нагрузки.
Построение базы данных DWS в облаке Advanced имеет следующие преимущества и риски:
Преимущества решения |
Риски |
|---|---|
|
Программы и файлы с данными должны быть предварительно загружены в OBS или HDFS, если указанные файловые системы хранения будут использованы в качестве источника данных для DWS. |
Общая схема
Описание решения
- Предварительные требования:
В тенанте должны быть созданы как минимум одна VPC и одна подсеть (Subnet).
В тенанте должен быть создан бакет в сервисе OBS для случая загрузки данных из объектного хранилища.
Создан и настроен кластер с ресурсами MRS для случая загрузки данных из HDFS.
Настроен компонент CDM сервиса DataArts Studio для случая загрузки данных из внешних источников.
Настроен сервис очередей сообщений DMS for Kafka для случая загрузки потоковых данных.
Запись всех операций, в том числе операций с ресурсами MRS, и результатов выполнения заданий выполняется сервисом CTS.
Реализация
Список последовательных действий при настройке решения:
Создание VPC.
Создание подсетей (Subnet) для приложений и баз данных.
Создание целевого сервера CTS для записи всех операций и результатов выполнения заданий.
Создание бакета в сервисе OBS.
Создание кластера MRS.
Создание кластера DWS.
Подключение к кластеру DWS.
Загрузка данных в бакет OBS.
Импорт данных из бакета OBS в HDFS.
Импорт данных в DWS из одного или нескольких источников: OBS, HDFS, MRS.
Выполнение запросов в каталоге DWS.
- Общая схема
- Описание решения
- Реализация