MapReducce Service (MRS) — это облачный сервис, который используется для развертывания и управления кластерами Hadoop. MRS предоставляет облачные кластеры больших данных уровня enterprise. Тенанты могут полностью контролировать эти кластеры и легко запускать в них компоненты больших данных, такие как Hadoop, Spark, HBase и Kafka.
MRS прост в использовании. Вы можете выполнять различные задачи и обрабатывать или хранить данные уровня PB, используя компьютеры, соединённые в кластере.
Процедура использования MRS выглядит следующим образом:
- Создайте кластер в консоли MRS. На этом этапе вы можете указать тип кластера, характеристики и количество узлов, тип диска с данными (High I/O или Ultra-high I/O) и компоненты для установки.
- Загрузите подготовленные программы и файлы данных в Object Storage Service (OBS) или HDFS кластера.
- После создания кластера вы можете напрямую добавлять джобы и запускать свои программы или SQL‑запросы для обработки и анализа данных.
- MRS предоставляет MRS Manager — enterprise‑класса единую платформу управления кластерами больших данных, позволяющую быстро получать информацию о состоянии сервисов и хостов. С помощью графического мониторинга метрик и настройки вы можете своевременно получать критическую информацию о системе. Кроме того, вы можете изменять конфигурацию атрибутов сервисов в соответствии с требованиями к производительности, а также запускать или останавливать кластеры, сервисы и экземпляры ролей одним щелчком.
- Завершите работу кластера, если он больше не нужен после выполнения джобы.