/ DOCS
Evolution
Тема интерфейса
Архитектурный центр

Корпоративное хранилище данных

Решение для создания корпоративного хранилища данных в облаке Advanced реализуется с использованием DWS — универсальное и надежное хранилище корпоративной информации, которое обеспечивает следующие возможности:

  • Реализация на основе GaussDB, является аналогом GreenPlum.

  • Работа с БД с сотнями миллионов и миллиардами записей.

  • Отказоустойчивость «из коробки».

  • Гибридное хранения строк и столбцов для решения любой задачи.

  • Автоматическое резервное копирование «из коробки».

  • Гибкое масштабирование в зависимости от рабочей нагрузки.

Построение базы данных DWS в облаке Advanced имеет следующие преимущества и риски:

Преимущества решения

Риски

  • Минимальные настройки для начала работы.

  • Возможности интеграции с продуктами Big Data в облаке Advanced (MRS, DataArts Studio).

  • Возможность подключения к данным в OBS и HDFS.

  • Отказоустойчивость каждого компонента сервиса.

  • Пользовательский интерфейс для осуществления основных действий при работе с сервисом.

Программы и файлы с данными должны быть предварительно загружены в OBS или HDFS, если указанные файловые системы хранения будут использованы в качестве источника данных для DWS.

Общая схема

../../_images/schm__typical-solutions_adv_on-pagers-tools_dws.svg

Описание решения

Предварительные требования:

  • В тенанте должны быть созданы как минимум одна VPC и одна подсеть (Subnet).

  • В тенанте должен быть создан бакет в сервисе OBS для случая загрузки данных из объектного хранилища.

  • Создан и настроен кластер с ресурсами MRS для случая загрузки данных из HDFS.

  • Настроен компонент CDM сервиса DataArts Studio для случая загрузки данных из внешних источников.

  • Настроен сервис очередей сообщений DMS for Kafka для случая загрузки потоковых данных.

  • Запись всех операций, в том числе операций с ресурсами MRS, и результатов выполнения заданий выполняется сервисом CTS.

Реализация

Список последовательных действий при настройке решения:

  1. Создание VPC.

  2. Создание подсетей (Subnet) для приложений и баз данных.

  3. Создание целевого сервера CTS для записи всех операций и результатов выполнения заданий.

  4. Создание бакета в сервисе OBS.

  5. Создание кластера MRS.

  6. Создание кластера DWS.

  7. Подключение к кластеру DWS.

  8. Загрузка данных в бакет OBS.

  9. Импорт данных из бакета OBS в HDFS.

  10. Импорт данных в DWS из одного или нескольких источников: OBS, HDFS, MRS.

  11. Выполнение запросов в каталоге DWS.

См.также
Предыдущая статья
Работа с данными
Следующая статья
Облачная платформа для работы с данными
Была ли эта статья полезна?
Поддержка Юридические документы
© 2025 Cloud.ru