Управляемый кластер ClickHouse
Решение для создания управляемого кластера ClickHouse в облаке Advanced реализуется с использованием платформы корпоративного уровня MRS для хранения, обработки и анализа больших данных.
Данное решение позволяет реализовать в облаке Advanced систему управления базами данных (СУБД) для онлайн-обработки аналитических запросов (OLAP), которая обеспечивает следующие возможности:
Управляемый кластер ClickHouse в несколько кликов.
Простое масштабирование в зависимости от рабочей нагрузки.
Отказоустойчивость «из коробки».
Открытое API и стандартные коннекторы для интеграции со сторонними сервисами.
Управление резервным копированием и обновлениями из интерфейса.
Построение базы данных ClickHouse в облаке Advanced имеет следующие преимущества и риски:
Преимущества решения |
Риски |
|---|---|
|
Программы и файлы с данными могут быть использованы, если они будут предварительно загружены в файловую систему хранения: OBS. |
Общая схема
Описание решения
- Предварительные требования:
В тенанте должны быть созданы как минимум одна VPC и одна подсеть (Subnet).
В тенанте должен быть создан бакет в сервисе OBS.
Настроен сервис очередей сообщений DMS for Kafka, для случая загрузки потоковых данных.
Запись всех операций, в том числе операций с ресурсами MRS, и результатов выполнения заданий выполняется сервисом CTS.
Реализация
Список последовательных действий при настройке решения:
Создание VPC.
Создание подсетей (Subnet).
Создание бакета в сервисе OBS.
Создание ключей Access Key/Secret Key для IAM пользователя с правами Администратора.
Создание целевого сервера CTS для записи всех операций и результатов выполнения заданий.
Загрузка данных в бакет OBS.
Создание в сервисе MRS кластера ClickHouse с предустановленными настройками.
Синхронизация IAM-пользователей с сервисом MRS для управления кластером через консоль.
Запуск кластера ClickHouse в облаке Advanced.
См.также
для Dev & Test