Облачная платформаAdvanced

Создание DWS Storage-Compute Decoupled Cluster

Язык статьи: Русский
Показать оригинал
Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

Storage-Compute Decoupled использует облачно‑нативную, экономичную архитектуру с раздельным хранением и вычислениями. Поддерживает анализ горячих и холодных данных, эластичное масштабирование хранилища и вычислений, неограниченную вычислительную мощность и ёмкость, а также модель оплаты по использованию. Применяется в сценариях анализа OLAP.

В этом разделе описывается, как создать Storage-Compute Decoupled cluster в консоли DWS.

Примечания и ограничения

  • Рекомендуется не использовать кластеры с низкими характеристиками, например кластеры с 16 GB памяти и 4‑core vCPUs, в рабочей среде. В противном случае может произойти перегрузка ресурсов.
  • Чтобы обеспечить балансировку нагрузки и высокую доступность кластера и предотвратить прерывание сервисов, не рекомендуется подключать сервисы напрямую к отдельному CN. Вместо этого настройте балансировку нагрузки для распределения соединений между всеми CN.
  • Кластеры с раздельным хранением и вычислениями не поддерживают шифрование баз данных.

Подготовка перед созданием кластера

  • Вы оценили flavor узлов кластера.

    Вы можете выбрать количество узлов в зависимости от объёма данных, нагрузки сервиса и производительности. Большее количество узлов обеспечивает более мощные возможности хранения и вычислений.

    При первом использовании DWS вы можете создать кластер с меньшим flavor. Затем вы можете изменить масштаб кластера и flavor узлов в зависимости от изменения объёма данных и нагрузки сервиса без прерывания работы сервисов. Подробнее см. Scaling Out a Cluster.

  • Определите количество узлов, доступных пользователям.

    Убедитесь, что количество доступных узлов не менее 3. В противном случае система выводит сообщение о невозможности создания кластера.

Процедура

  1. Войдите в консоль DWS.
  2. В панели навигации слева выберите Cluster > Cluster List. Затем нажмите Create DWS Cluster в правом верхнем углу страницы.
  3. Настройте кластер, включая Basic Configuration, Data Warehouse Configuration, Network, EIP, and ELB, Cluster Management и Database Management, Database Encryption, and More Configurations.
  4. В области Configuration Summary справа подтвердите конфигурации и нажмите Create Now.
  5. После успешной отправки создание начинается. Нажмите Back to Cluster List. Отображается страница управления кластером. Начальный статус кластера — Creating. Создание кластера занимает некоторое время. Подождите. Кластеры в состоянии Available готовы к использованию.

Чтобы задать параметры в этой области, см. Table 1.

Table 1 Базовые параметры

Parameter

Description

Example Value

Region

Выберите AZ для выполнения узлов кластера.

Для получения дополнительной информации о регионах перейдите к Regions and Endpoints.

-

AZ

Можно выбрать один AZ или несколько AZ (выберите три AZ из drop-down list).

Для получения дополнительной информации см. How Do I Select a DWS Region and AZ?.

AZ1

Для получения сведений о том, как задать параметры в этой области, см. Table 2.

Table 2 Параметры настройки хранилища данных

Параметр

Описание

Пример значения

Версия

Варианты следующие:

Decoupled storage and compute: Этот тип хранилища данных разработан с облачной нативной архитектурой, которая разделяет хранение и вычисления. Он также поддерживает иерархическое авто масштабирование вычислений и хранения, а также технологию совместного использования хранилища несколькими логическими кластерами (Virtual Warehouse или VW). Эти возможности обеспечивают изоляцию вычислений и одновременное расширение для обработки изменяющихся нагрузок, что делает его идеальным выбором для сценариев анализа OLAP‑анализа.

-

Флейвор узла

Выберите node flavor. Список node flavor отображает архитектуру CPU, vCPUs, память, тип вычислений и тип развертывания узла для каждого flavor.

-

Hot Storage (with Cache)

Доступная емкость хранилища каждого узла.

  • Запрашиваемая емкость хранилища включает необходимый накладной расход файловой системы, который включает индексные узлы и пространство, требуемое для работы базы данных. Если свободное пространство менее 100 GB, масштабирование может завершиться неудачей из‑за недостатка места.
  • Отображаемый 200GB/node включает хранилище для cache. Например, если вы создаёте 3 узла, каждый с ёмкостью 200 GB, общая ёмкость ресурсов составляет 600 GB, а фактическое доступное вам хранилище — 300 GB.

-

Cold Data

Сохраняйте данные в отдельных OBS buckets.

-

Nodes

Укажите количество узлов в кластере.

Количество узлов может быть от 3 до 256.

3

Table 3 перечисляет параметры сети, EIP и ELB.

Table 3 Параметры сети, EIP и ELB

Parameter

Description

Precaution

Пример значения

VPC

Укажите VPC для изоляции сети кластера.

  • Если вы создаёте свой первый DWS кластер и ещё не настроили VPC, нажмите Create VPC, чтобы перейти в консоль VPC и создать VPC, отвечающий вашим требованиям.

    Для получения подробной информации о том, как создать VPC, см. «VPC and Subnet > Creating a VPC» в Virtual Private Cloud User Guide.

  • После выбора VPC из раскрывающегося списка вы можете нажать Create VPC, чтобы перейти в консоль VPC и просмотреть сведения о выбранном VPC.
  • Вы можете нажать , чтобы обновить варианты в раскрывающемся списке VPC.

-

vpc-dws

Subnet

Укажите подсеть VPC.

Подсеть предоставляет выделенные сетевые ресурсы, изолированные от других сетей, повышая безопасность сети.

После создания кластера его подсеть изменить нельзя. Чтобы обновить подсеть, восстановите снимок кластера в новый кластер. Новый кластер будет иметь идентичные данные, и вы сможете настроить подсеть при его создании.

subnet-dws

Security Group

Укажите группу безопасности VPC.

Группа безопасности ограничивает правила доступа для повышения безопасности, когда DWS и другие сервисы обращаются друг к другу.

  • Automatic creation

    Если Automatic creation выбрана, система автоматически создает группу безопасности по умолчанию. Эта опция выбрана по умолчанию.

    Правило группы безопасности по умолчанию выглядит следующим образом: исходящий трафик разрешает все запросы доступа, тогда как входящий открыт только для порта базы данных, который вы указали для подключения к кластеру DWS.

    Формат имени группы безопасности по умолчанию: dws-<cluster name>-<database port of the DWS cluster>, например, dws-dws-demo-8000.

  • Manual creation

    Вы также можете войти в консоль управления VPC, чтобы вручную создать группу безопасности. Затем вернитесь на страницу создания кластеров DWS, нажмите рядом со списком Security Group, чтобы обновить страницу, и выберите новую группу безопасности.

    Чтобы клиент DWS мог подключиться к кластеру, добавьте входящее правило в новую группу безопасности, разрешающее доступ к порту базы данных кластера DWS. Ниже приведён пример входящего правила.

    • Protocol: TCP.
    • Port: 8000. Используйте порт базы данных, указанный при создании кластера DWS. Этот порт принимает клиентские подключения к DWS.
    • Source: Выберите IP address и укажите IP‑адрес хоста клиента, например, 192.168.0.10/32.
  • Если квоты группы безопасности и правила группы безопасности недостаточны, после отправки заявки на создание кластера будет отображено сообщение об ошибке. Вы можете выбрать существующую группу и повторить попытку.
  • После создания кластера DWS вы можете изменить группу безопасности. Вы также можете добавить, удалить или изменить правила группы безопасности в текущей группе. Подробности см. в "Modifying a Security Group". Изменение группы безопасности кластера может вызвать кратковременное прерывание сервиса. При выполнении этой операции будьте осторожны. Чтобы улучшить сетевую производительность, ограничьте выбор не более чем пятью группами безопасности.

Automatic creation

EIP

Могут ли пользователи использовать клиент для подключения к базе данных кластера через Интернет.

  • Если вы выбираете EIP, вы можете выбрать Automatically assign или Specify. Если вы выбираете Automatically assign, система автоматически назначает EIP с выделенной пропускной способностью для кластера. Вы можете установить пропускную способность по необходимости. Если вы выбираете Specify, вы можете привязать существующий EIP к кластеру. Если в раскрывающемся списке нет доступных EIP, нажмите Assign EIP, чтобы запросить EIP.
  • По умолчанию EIP не выбран.
  • Если вы используете функцию привязки EIP впервые в каждом проекте каждого региона, система предлагает создать агентство DWSAccessVPC для предоставления DWS доступа к VPC. После успешного предоставления доступа DWS может переключиться на здоровый VM, когда VM, привязанный к EIP, выходит из строя.
  • По умолчанию только аккаунты cloud или пользователи с правами Security Administrator могут выполнять запросы и создавать агентства. По умолчанию IAM‑пользователи в этих аккаунтах cloud не могут выполнять запросы или создавать агентства. Когда пользователи используют EIP, система делает функцию привязки недоступной. Обратитесь к пользователю с правами DWS Administrator, чтобы авторизовать агентство на текущей странице.
  • Do not use указывает на отключение доступа к кластеру через публичную сеть. После создания кластера, если требуется доступ через Интернет, привяжите EIP к кластеру и создайте доменное имя в Интернете. Подробности см. в Creating a Public Network Domain Name.

-

ELB

Указывает, привязан ли ELB. При проверках работоспособности ELB запросы CN кластера могут быстро перенаправляться к нормальным CN. Если CN выходит из строя, нагрузка может сразу переключаться на здоровый узел, минимизируя сбои доступа к кластеру.

  • По умолчанию ELB выбран. Вы можете привязать указанный балансировщик нагрузки к кластеру. Если в раскрывающемся списке нет доступных балансировщиков нагрузки, нажмите Create ELB, чтобы перейти на страницу ELB и при необходимости создать его.
  • Если вы снимаете выделение с ELB, ELB не используется.

Настройте балансировку нагрузки, чтобы обеспечить балансировку и высокую доступность кластера и предотвратить перебои в работе сервисов. Не рекомендуется напрямую подключать сервисы к отдельному CN.

-

Чтобы узнать, как задавать параметры в этой области, см. Table 4.

Table 4 Параметры управления кластером

Параметр

Описание

Precaution

Example Value

Cluster Name

Установите имя кластера хранилища данных.

Введите от 4 до 64 символов. Допустимы только буквы (без учёта регистра), цифры, дефисы (-) и подчёркивания (_). Имя должно начинаться с буквы.

DWS-demo

Cluster Version

Версия экземпляра базы данных, установленного в кластере. Пример номера версии приведён только для справки.

-

-

Time Zone

Вы можете установить часовой пояс для кластера арендатора, включая часовой пояс ОС системы и часовой пояс кластера хранилища данных.

-

-

Enterprise Project

Enterprise‑проект кластера. Этот параметр доступен только пользователям, включившим сервис управления enterprise‑проектами.

Enterprise‑проект упрощает управление на уровне проекта и группировку облачных ресурсов и пользователей.

Вы можете выбрать enterprise‑проект по умолчанию default или другие существующие enterprise‑проекты. Чтобы создать enterprise‑проект, войдите в консоль EPS. Подробности см. в Enterprise Management User Guide.

-

default

Теги

Теги — это пары «ключ-значение», используемые для идентификации кластеров. Вы можете нажать +Add, чтобы добавить теги в кластер. По умолчанию в кластер не добавлен ни один тег. Подробную информацию о тегах см. в Overview.

  • Tag key: Введите имя ключа тега в текстовое поле или выберите предопределённый ключ тега и существующий ключ тега ресурса из раскрывающегося списка. Ключ тега может содержать не более 128 символов. Он не может быть пустой строкой, не может начинаться с _sys и не может начинаться или заканчиваться пробелом. Разрешены только буквы, цифры, пробелы и следующие специальные символы: _ . : = + - @
  • Tag value: Введите значение тега в текстовое поле или выберите предопределённое значение тега и существующее значение тега ресурса из раскрывающегося списка. Значение тега может содержать не более 255 символов. Разрешены только буквы, цифры, пробелы и символ подчёркивания (_). : = + - @
  • Ключ должен быть уникальным в данном кластере.

-

База данных по умолчанию установлена как gaussdb (изменить её нельзя). Table 5 перечисляет управление базой данных, шифрование базы данных и другие конфигурации.

Table 5 Управление базой данных, шифрование базы данных и другие конфигурации

Параметр

Описание

Мера предосторожности

Пример значения

Учётная запись администратора

Установите имя администратора базы данных.

Имя пользователя должно соответствовать следующим требованиям:

  • Состоит из строчных букв, цифр или символов подчёркивания.
  • Начинается со строчной буквы или символа подчёркивания.
  • Содержит от 6 до 64 символов.
  • Имя пользователя не может быть ключевым словом базы данных DWS. Для получения подробной информации о ключевых словах базы данных DWS см. "SQL Reference" > "Keyword" в Data Warehouse Service Developer Guide.

dbadmin

Administrator Password

Установите пароль учётной записи администратора базы данных.

Регулярно меняйте пароль и храните его в безопасности.

Пароль должен:

  • Состоять из 12–32 символов.
  • Не совпадать с именем пользователя и не быть обратным написанием имени пользователя.
  • Содержать как минимум три типа следующих символов: заглавные буквы, строчные буквы, цифры и специальные символы (~!?, .:;_(){}[]/< >@# %^&*+|\=-)
  • Пройти проверку на слабый пароль.

-

Confirm Password

Введите пароль администратора базы данных ещё раз.

-

-

Database Port

Установите порт, используемый, когда клиент или приложение подключается к базе данных в кластере.

Номер порта находится в диапазоне от 8000 до 30000.

Порт базы данных созданного кластера изменить нельзя. Указать порт базы данных можно только при создании кластера.

8000

Encrypt DataStore

Если эта функция включена, Key Management Service (KMS) шифрует кластер и данные снимков кластера.

  • Метод 1: Выберите имя ключа.
  • Метод 2: Введите идентификатор ключа. Введите идентификатор ключа, используемый для авторизации текущего Тенанта.

    Когда вы предоставляете разрешения на странице Creating a Grant, уполномоченным объектом должен быть аккаунт, а не пользователь. Уполномоченные операции должны как минимум включать Querying key details, Encrypting data и Decrypting data.

  • Только пользователи с разрешением Tenant Admin могут просматривать и переключать переключатель Encrypt DataStore.
  • По умолчанию только cloud аккаунты или пользователи с разрешениями Security Administrator могут выполнять запросы и создавать агентства. Пользователи IAM в рамках аккаунта по умолчанию не имеют разрешения выполнять запросы или создавать агентства. Обратитесь к пользователю с этим разрешением и завершите авторизацию на текущей странице.
  • Если вы не создали агентство с разрешениями KMS Administrator, при первом включении шифрования базы данных отображается диалоговое окно Create Delegation. Нажмите OK, чтобы предоставить DWS разрешения на доступ к KMS. Выберите созданный ключ KMS из выпадающего списка KMS Key Name.
  • Функцию шифрования базы данных нельзя отключить после её включения.
  • After Encrypt DataStore is enabled, the key cannot be disabled, deleted, or frozen when being used. Otherwise, the cluster becomes abnormal and the database becomes unavailable.
  • После включения шифрования базы данных вы не можете использовать открытые API для восстановления созданных снимков.

-

More Configurations

  • CNs: CNs, or Coordinators, получают запросы доступа от клиентов и возвращают результаты выполнения. Они также разбивают и распределяют задачи между data nodes (DNs) для параллельного выполнения. В крупномасштабном кластере рекомендуется развернуть несколько CNs.
  • Backup Device: Система автоматически создает Снапшоты в заданное время и с заданным интервалом. Для подробностей см. Table 6.
  • IPv6 CIDR Block: Укажите, следует ли включить двойной стек IPv6 для кластера. Если IPv6 выбран, клиент или приложение могут подключаться к базе данных, используя IPv6‑адрес.
  • Количество развернутых CNs. Значения находятся в диапазоне от 3 до количества узлов кластера. Максимальное значение — 20, значение по умолчанию — 3.
  • Чтобы включить IPv6, убедитесь, что выполнены следующие условия:
    • Подсеть, настроенная в Table 3, является подсетью IPv6 dual-stack.
    • Кластер поддерживает IPv6‑адреса и максимум три NIC.
    • Версия кластера должна быть 8.2.1.210 или новее.

-

Table 6Backup device parameters

Parameter

Description

Backup Device

Select OBS или NFS из выпадающего списка.

NFS Backup File System Address (NFS)

NFS shared IP address. Чтобы смонтировать общий путь SFS, введите его IP‑адрес. После успешного монтирования в каталоге /var/chroot/nfsbackup инстанса кластера будет создан каталог монтирования.