Корпоративное хранилище данных
Решение для создания корпоративного хранилища данных в облаке Advanced реализуется с использованием DWS — универсальное и надежное хранилище корпоративной информации, которое обеспечивает следующие возможности:
-
Реализация на основе GaussDB, является аналогом GreenPlum.
-
Работа с БД с сотнями миллионов и миллиардами записей.
-
Отказоустойчивость «из коробки».
-
Гибридное хранения строк и столбцов для решения любой задачи.
-
Автоматическое резервное копирование «из коробки».
-
Гибкое масштабирование в зависимости от рабочей нагрузки.
Построение базы данных DWS в облаке Advanced имеет следующие преимущества и риски:
Преимущества решения | Риски |
---|---|
| Программы и файлы с данными должны быть предварительно загружены в OBS или HDFS, если указанные файловые системы хранения будут использованы в качестве источника данных для DWS. |
Общая схема
Описание решения
- Предварительные требования:
-
В тенанте должны быть созданы как минимум одна VPC и одна подсеть (Subnet).
-
В тенанте должен быть создан бакет в сервисе OBS для случая загрузки данных из объектного хранилища.
-
Создан и настроен кластер с ресурсами MRS для случая загрузки данных из HDFS.
-
Настроен компонент CDM сервиса DataArts Studio для случая загрузки данных из внешних источников.
-
Настроен сервис очередей сообщений DMS for Kafka для случая загрузки потоковых данных.
-
Запись всех операций, в том числе операций с ресурсами MRS, и результатов выполнения заданий выполняется сервисом CTS.
Реализация
Список последовательных действий при настройке решения:
-
Создание VPC.
-
Создание подсетей (Subnet) для приложений и баз данных.
-
Создание целевого сервера CTS для записи всех операций и результатов выполнения заданий.
-
Создание бакета в сервисе OBS.
-
Создание кластера MRS.
-
Создание кластера DWS.
-
Подключение к кластеру DWS.
-
Загрузка данных в бакет OBS.
-
Импорт данных из бакета OBS в HDFS.
-
Импорт данных в DWS из одного или нескольких источников: OBS, HDFS, MRS.
-
Выполнение запросов в каталоге DWS.
- Общая схема
- Описание решения
- Реализация