tocdepth

2

Возможности

С DWS можно работать при помощи консоли, клиентского приложения или REST API. В этой статье описаны основные функции DWS.

Управление кластером

Кластер хранилища данных состоит из узлов одинаковой конфигурации в одной подсети.

Ниже перечислены основные функции управления кластером.

Создание кластера

Вы можете определить конфигурацию и количество узлов, основываясь требованиях к сервису.

Управление снимками

Снимок — это полная резервная копия конфигурационных и сервисных данных кластера на конкретный момент времени. Снимок используют для восстановления кластера к состоянию, в котором он был при снятии снимка.

Снимки можно делать вручную или в автоматическом режиме. Автоматически созданные снимки имеют ограниченный срок хранения, но вы можете скопировать такой снимок для длительного хранения. Ненужные снимки можно удалить, чтобы освободить дисковое пространство.

При восстановлении кластера из снимка система создает новый кластер с той же конфигурацией и количеством узлов и импортирует данные снимка.

Масштабирование кластера

По мере увеличения нагрузки кластер может перестать соответствовать требованиям к вычислительным ресурсам. В этом случае вы можете расширить кластер, добавив в него вычислительные узлы. При этом сервис продолжит работу во время масштабирования.

Перезапуск кластера

Перезапуск кластера может привести к потере данных в работающем сервисе. Перед перезапуском кластера убедитесь, что нет запущенных процессов и все данные сохранены.

Удаление кластера

Вы можете удалить кластер, когда он больше не нужен. Удаление кластера может привести к потере данных. Будьте осторожны при выполнении этой операции.

Хранилища данных корпоративного класса и совместимость с SQL

После создания кластера вы можете использовать SQL-клиент для:

  • подключения к кластеру;

  • создания баз данных и управления ими;

  • импорту и экспорту данных;

  • построению запросов.

DWS предоставляет высокопроизводительные базы данных петабайтного уровня со следующими возможностями:

  • Массово-параллельный вычислительный фреймворк, гибридное строчно-колоночное хранилище, векторизованное выполнение, позволяющее реагировать на корреляционный анализ данных миллиардного уровня в течение нескольких секунд.

  • Оптимизированные для памяти вычисления, повышающие производительность в 2-10 раз.

  • Оптимизированные связи между крупномасштабными кластерами на основе телекоммуникационных технологий, повышающих эффективность передачи данных между вычислительными узлами.

Разные режимы импорта данных

DWS поддерживает эффективный импорт данных из нескольких источников:

  • Одновременный импорт данных из OBS.

  • Использование GDS для импорта данных с удаленного сервера.

  • Запуск инструкции INSERT для вставки данных.

  • Запуск инструкции COPY FROM STDIN для импорта данных.

  • Использование мета-команды gsql для импорта данных.

  • Импорт данных из MRS в кластер хранилища данных.

  • Использование приложения DSC для миграции SQL-скриптов.

  • Импорт данных с помощью основных сторонних инструментов ETL.

API

Вы можете использовать стандартные интерфейсы, такие как Java Database Connectivity (JDBC) и Open Database Connectivity (ODBC) для доступа к базам данных в кластере.

См.также

Подключение к кластеру с помощью JDBC- и ODBC-драйверов (en)

Высокая надежность

Для обеспечения надежности DWS:

  • Поддерживает избыточность виртуальной машины и данных, обеспечивая нулевые единые точки отказа (SPOF) во всей системе.

  • Поддерживает несколько резервных копий данных. Резервные копии данных можно вручную сохранять в OBS.

  • Автоматически изолирует неисправный узел, использует резервную копию для восстановления данных и при необходимости заменяет неисправный узел.

  • Сочетает в себе автоматическое создание моментальных снимков и OBS-хранилище, реализуя аварийное восстановление между зонами доступности.

Управление безопасностью

Для обеспечения безопасности DWS:

  • Изолирует тенанты и контролирует доступ для защиты конфиденциальности и безопасности данных систем и пользователей на основе правил группы безопасности сети.

  • Поддерживает SSL-соединения, управление разрешениями пользователей и управление паролями, обеспечивая безопасность данных на уровне сети, приложений и уровней системы.

Мониторинг и аудит

Мониторинг кластеров

DWS интегрирован с сервисом Cloud Eye, который позволяет отслеживать работу вычислительных узлов и баз данных в реальном времени.

См.также

Уведомление о событиях

DWS связывается с Simple Message Notification (SMN), что позволяет подписаться на события и реагировать на их возникновение.

См.также

Подробнее об уведомлениях (en)

Просмотр логов

  • DWS интегрируется с Cloud Trace Service (CTS), поэтому администратор может проводить аудит операций, выполняемых в консоли управления или с помощью вызова API.

  • DWS записывает все операции SQL, включая попытки подключения, запроса и изменения базы данных.

См.также

Запустили Evolution free tier
для Dev & Test
Получить