Управление жизненным циклом Кластера

В консоли управления MRS вы можете создать кластер MRS и выбрать регион и спецификации облачных ресурсов, подходящие для вашей компании, в несколько кликов. MRS автоматически устанавливает и разворачивает корпоративную платформу больших данных и оптимизирует параметры в зависимости от выбранного типа кластера, версии и спецификаций узлов.

MRS предоставляет полностью управляемые кластеры больших данных. При создании кластера вы можете задать режим входа в VM (пароль или пара ключей). Вы можете использовать все ресурсы созданного кластера MRS. Кроме того, MRS позволяет развернуть кластер больших данных на двух ECS с 4 vCPU и 8 GB памяти, предоставляя более гибкие варианты для тестирования и разработки.

Кластеры MRS классифицируются как аналитические, потоковые и гибридные кластеры.

• Аналитический кластер: используется для офлайн‑анализа данных и предоставляет компоненты Hadoop.
• Потоковый кластер: используется для потоковых задач и предоставляет компоненты обработки потоков.
• Гибридный кластер: используется как для офлайн‑анализа данных, так и для обработки потоков, и предоставляет компоненты Hadoop и компоненты обработки потоков.
• Custom: Вы можете гибко комбинировать необходимые компоненты (MRS 3.x и более поздние версии) в соответствии с требованиями сервиса.

Узлы кластера MRS классифицируются как Master, Core и Task узлы.

• Master‑узлы являются управляющими узлами в кластере. Процесс Master, Manager и базы данных распределённой системы развертываются на этих узлах. Master‑узлы нельзя масштабировать. Производительность Master‑узлов определяет верхний предел управляемости всего кластера. MRS поддерживает масштабирование вверх спецификаций Master‑узлов для обеспечения управления более крупным кластером.
• Core‑узел: используется как для хранения, так и для вычислений и может масштабироваться в обе стороны. Поскольку Core‑узлы отвечают за хранение данных, существует множество ограничений на масштабирование вниз, чтобы предотвратить потерю данных, и автоматическое масштабирование невозможно.
• Узел задачи: используется только для вычислений и может масштабироваться в обе стороны. Узлы задачи выполняют только вычислительные задачи. Поэтому можно выполнять auto scaling.

Вы можете create кластер в двух режимах: пользовательская конфигурация и быстрая конфигурация.

• Custom Config: На странице Custom Config вы можете гибко настраивать параметры кластера в зависимости от сценариев применения, таких как режим биллинга и спецификации ECS, чтобы лучше соответствовать требованиям вашего сервиса.
• Quick Config: На странице Quick Config вы можете быстро create кластер на основе сценариев применения, повышая эффективность настройки кластера. В настоящее время поддерживаются кластеры анализа Hadoop, кластеры HBase, кластеры Kafka, кластеры ClickHouse и кластеры анализа в реальном времени.
  • Кластер анализа Hadoop: использует компоненты из открытой экосистемы Hadoop для анализа и запросов к огромным объёмам данных. Например, используйте Yarn для управления ресурсами кластера, Hive и Spark для обеспечения офлайн‑хранения и вычислений крупномасштабных распределённых данных, Spark Streaming и Flink для потоковых вычислений данных, Presto для интерактивных запросов и Tez для предоставления распределённого вычислительного фреймворка ориентированных ациклических графов (DAG).
  • Кластер HBase: использует компоненты Hadoop и HBase для предоставления колонко‑ориентированной распределённой облачной системы хранения с повышенной надёжностью, высокой производительностью и эластичной масштабируемостью. Он применяется для хранения и распределённых вычислений огромных объёмов данных. Вы можете использовать HBase для построения системы хранения, способной хранить данные уровня TB или даже PB. С HBase вы можете легко фильтровать и анализировать данные и получать ответы за миллисекунды, быстро извлекая ценность из данных.
  • Кластер Kafka: использует Kafka и Storm для предоставления открытой системы обмена сообщениями с высокой пропускной способностью и масштабируемостью. Широко применяется в сценариях, таких как сбор журналов и агрегация данных мониторинга, для реализации эффективного сбора потоковых данных и их обработки и хранения в реальном времени.
  • Кластер ClickHouse: ClickHouse — колонко‑ориентированная система управления базами данных, используемая для онлайн‑анализа. Она обладает оптимальным уровнем сжатия и высокой скоростью выполнения запросов. Широко применяется в интернет‑рекламе, анализе трафика приложений и веб‑сайтов, телекоммуникациях, финансах и областях IoT.
  • Кластеры анализа в реальном времени: используют компоненты Hadoop, Kafka, Flink и ClickHouse для предоставления системы сбора, анализа в реальном времени и запросов к данным в масштабах.

MRS позволяет завершить работу кластера, когда он больше не нужен. После завершения кластера все облачные ресурсы, использованные кластером, будут освобождены. Перед завершением кластера рекомендуется перенести или создать бэкап данных. Завершайте кластер только тогда, когда в кластере не запущены сервисы или кластер находится в аномальном состоянии и не может предоставлять услуги на основе анализа O&M. Если данные хранятся на дисках EVS или сквозных дисках в кластере больших данных, они будут удалены после завершения кластера. Поэтому будьте осторожны при завершении кластера.