Управляемый кластер Hadoop
Решение для создания управляемого кластера Hadoop в облаке Advanced реализуется с использованием платформы корпоративного уровня MRS для хранения, обработки и анализа больших данных.
Данное решение позволяет реализовать в облаке Advanced систему хранения и анализа больших данных, которая обеспечивает следующие возможности:
Управляемый кластер Hadoop в несколько кликов.
Простое масштабирование и автомасштабирование.
Отказоустойчивость «из коробки».
Возможность интеграции с продуктами open source.
Управление резервным копированием и обновлениями из интерфейса.
Построение системы хранения и анализа больших данных в облаке Advanced имеет следующие преимущества и риски:
Преимущества решения |
Риски |
|---|---|
|
Программы и файлы с данными могут быть использованы, если они будут предварительно загружены в одну из файловых систем хранения: OBS или HDFS. |
Общая схема
Описание решения
- Предварительные требования:
В тенанте должны быть созданы как минимум одна VPC и одна подсеть (Subnet).
В тенанте должен быть создан бакет в сервисе OBS.
Запись всех операций, в том числе операций с ресурсами MRS, и результатов выполнения заданий выполняется сервисом CTS.
Реализация
Список последовательных действий при настройке решения:
Создание VPC.
Создание подсетей (Subnet).
Создание бакета в сервисе OBS.
Создание ключей Access Key/Secret Key для IAM пользователя с правами Администратора.
Создание целевого сервера CTS для записи всех операций и результатов выполнения заданий.
Cоздание кластера MRS.
Загрузка данных в бакет OBS.
Импорт данных из бакета OBS в HDFS.
Экспорт данных из HDFS в бакет OBS.
- Общая схема
- Описание решения
- Реализация