Обзор
Добро пожаловать в MapReduce Service API Reference. MapReduce Service (MRS) предоставляет кластеры больших данных корпоративного уровня в облаке. Тенанты могут полностью контролировать кластеры и легко запускать компоненты больших данных, такие как Hadoop, Spark, HBase, Kafka и Storm, в кластерах.
Этот документ описывает, как использовать интерфейсы программирования приложений (API) для выполнения операций над MRS, таких как создание или удаление кластеров, настройка узлов, а также создание и выполнение джоб. Для получения подробной информации обо всех поддерживаемых операциях см. API Overview.
Если вы планируете обращаться к MRS через API, убедитесь, что знакомы с концепциями MRS. Подробности см. в Service Overview в MapReduce Service User Guide.
MRS 3.x не поддерживает API V1.1. Необходимо использовать API V2. Если всё же требуется использовать API V1.1, получите их из Out-of-Date APIs.
Вызов API
MRS поддерживает API, основанные на Representational State Transfer (REST), позволяя вызывать API через HTTPS. Подробности о вызове API см. в Calling APIs.
Эндпоинты
Эндпоинт — это адрес запроса для вызова API. Эндпоинты различаются в зависимости от сервисов и регионов. Для получения эндпоинтов всех сервисов см. Regions and Endpoints.
Ограничения
- Более подробные ограничения см. в описании API.
Концепции
- Учётная запись
Учётная запись создаётся после успешной регистрации. Учётная запись имеет полные права доступа ко всем её облачным сервисам и ресурсам. Её можно использовать для сброса паролей пользователей и предоставления им прав. В целях безопасности не используйте учётную запись напрямую для рутинного управления, а создавайте IAM users и предоставляйте им права для рутинного управления.
- User
IAM пользователь создаётся с помощью учётной записи для использования cloud services. Каждый IAM пользователь имеет собственные учётные данные (пароль и ключи доступа).
Аутентификация API требует информацию, такую как имя учётной записи, имя пользователя и пароль.
- Region
Регионы — это географические области, изолированные друг от друга. Ресурсы привязаны к региону и не могут использоваться между регионами через внутренние сетевые соединения. Для низкой сетевой задержки и быстрого доступа к ресурсам выберите ближайший регион.
- AZ
AZ содержит один или несколько физических дата‑центров. Каждый AZ имеет независимые системы охлаждения, пожаротушения, защиты от влаги и электроснабжения. Внутри AZ вычислительные, сетевые, хранилищные и другие ресурсы логически разделены на несколько кластеров. AZ в пределах региона соединены между собой с помощью высокоскоростных оптических волокон для поддержки систем высокой доступности между AZ.
- Project
Проект соответствует региону. Проекты группируют и изолируют ресурсы (включая вычислительные, хранилищные и сетевые ресурсы) по физическим регионам. Пользователям могут быть предоставлены права в проекте по умолчанию для доступа ко всем ресурсам в регионе, связанном с проектом. Для более тонкого контроля доступа создайте подпроекты внутри проекта и создайте ресурсы в подпроектах. Затем пользователям могут быть назначены права доступа только к определённым ресурсам в подпроектах.
Figure 1 Project isolation model
- Чекпоинт
Когда приложение потребляет данные, последняя SN потреблённых данных фиксируется как чекпоинт. При повторном потреблении данные могут быть продолжены на основе этого чекпоинта.
- App
Несколько приложений могут потреблять данные в одном потоке, и их чекпоинты различаются по App.
Выбор типа API
В настоящее время MRS предоставляет два типа (V1.1 и V2) API для облачных сервисов с кастомными спецификациями. Доступна только часть API V2 и они в основном используются для отправки заданий и SQL‑запросов. Если функции API одинаковы, рекомендуется использовать API V2 в первую очередь.
На основе API V1.1 API V2 имеют следующие улучшения:
- Задания могут быть отправлены в безопасный кластер.
- Поддерживаются задания HiveSQL, Spark Python и Flink.
- Можно запросить результаты SparkSQL и SparkScript.
Для получения подробной информации об API и их функциях см. API Overview.