Управляемый кластер Hadoop
Решение для создания управляемого кластера Hadoop в облаке Advanced реализуется с использованием платформы корпоративного уровня MRS для хранения, обработки и анализа больших данных.
Данное решение позволяет реализовать в облаке Advanced систему хранения и анализа больших данных, которая обеспечивает следующие возможности:
-
Управляемый кластер Hadoop в несколько кликов.
-
Простое масштабирование и автомасштабирование.
-
Отказоустойчивость «из коробки».
-
Возможность интеграции с продуктами open source.
-
Управление резервным копированием и обновлениями из интерфейса.
Построение системы хранения и анализа больших данных в облаке Advanced имеет следующие преимущества и риски:
Преимущества решения | Риски |
|---|---|
| Программы и файлы с данными могут быть использованы, если они будут предварительно загружены в одну из файловых систем хранения: OBS или HDFS. |
Общая схема
Описание решения
- Предварительные требования:
-
В тенанте должны быть созданы как минимум одна VPC и одна подсеть (Subnet).
-
В тенанте должен быть создан бакет в сервисе OBS.
-
Запись всех операций, в том числе операций с ресурсами MRS, и результатов выполнения заданий выполняется сервисом CTS.
Реализация
Список последовательных действий при настройке решения:
-
Создание VPC.
-
Создание подсетей (Subnet).
-
Создание бакета в сервисе OBS.
-
Создание ключей Access Key/Secret Key для IAM пользователя с правами Администратора.
-
Создание целевого сервера CTS для записи всех операций и результатов выполнения заданий.
-
Cоздание кластера MRS.
-
Загрузка данных в бакет OBS.
-
Импорт данных из бакета OBS в HDFS.
-
Экспорт данных из HDFS в бакет OBS.
- Общая схема
- Описание решения
- Реализация