Вы можете отправлять собственные программы в MRS для их выполнения и получать результаты.
В этом разделе описывается, как отправить job (в качестве примера рассматривается MapReduce job) в консоли MRS. MapReduce job используются для отправки JAR‑программ с целью быстрой параллельной обработки огромных объёмов данных и создания распределённой среды обработки и выполнения данных.
Если функции job и управления файлами не поддерживаются на странице сведений о кластере, отправляйте jobs в фоновом режиме.
Перед созданием job необходимо загрузить локальные данные в OBS для вычислений и анализа. MRS позволяет экспортировать данные из OBS в HDFS для вычислений и анализа. После завершения анализа и вычислений вы можете сохранить данные в HDFS или экспортировать их в OBS. HDFS и OBS также могут хранить сжатые данные в формате bz2 или gz.
Если имя пользователя IAM содержит пробелы (например, admin 01), создать job невозможно.
Отправка Job через GUI
- Войдите в консоль MRS.
- На странице Active Clusters выберите работающий кластер и нажмите его имя, чтобы перейти на страницу сведений о кластере.
- Если для кластера включена аутентификация Kerberos, выполните следующие действия. Если аутентификация Kerberos для кластера не включена, пропустите этот шаг.
В области Basic Information на странице Dashboard нажмите Synchronize справа от IAM User Sync для синхронизации пользователей IAM.
- Click the Jobs tab.
- Click Create. The Create Job dialog box is displayed.
- In Type, select MapReduce. Configure other job information.
Table 1 Параметры Job Параметр
Описание
Имя
Имя задания. Оно содержит от 1 до 64 символов. Допускаются только буквы, цифры, дефисы (-) и подчёркивания (_) .
ПРИМЕЧАНИЕ:Рекомендуется задавать разные имена для разных заданий.
Путь к программе
Путь к пакету программы, который будет выполнен. Должны быть соблюдены следующие требования:
- Содержит не более 1 023 символов, исключая специальные символы, такие как ;|\u0026\u003e\u003c'$. Значение параметра не может быть пустым или состоять только из пробелов.
- Путь к исполняемой программе может храниться в HDFS или OBS. Путь зависит от используемой файловой системы.
- OBS: Путь начинается с obs://. Пример: obs://wordcount/program/xxx.jar
- HDFS: Путь должен начинаться с /user.
- Для SparkScript и HiveScript путь должен заканчиваться на .sql. Для MapReduce путь должен заканчиваться на .jar. Для Flink и SparkSubmit путь должен заканчиваться на .jar или .py. Расширения .sql, .jar и .py регистронезависимы.
Параметры
(Необязательно) Это ключевой параметр для выполнения программы. Разделяйте несколько параметров пробелом.
Метод конфигурации: Program class name Data input path Data output path
- Program class name: Указывается функцией в вашей программе. MRS отвечает только за передачу параметров.
- Data input path: Нажмите HDFS или OBS, чтобы выбрать путь или вручную ввести правильный путь.
- Data output path: Введите каталог, который не существует.
Значение может содержать не более 150 000 символов, включая специальные символы (;|\u0026'$), но не может содержать \u003e или \u003c. Этот параметр также может быть оставлен пустым.
ВНИМАНИЕ:Если вы вводите параметр, содержащий конфиденциальную информацию (например, пароль для входа), параметр может быть раскрыт в отображении сведений о задаче и при печати журналов. Будьте осторожны при выполнении этой операции.
Параметры сервиса
(Необязательно) Используется для изменения параметров конфигурации сервиса для выполняемой задачи. Изменение параметров применяется только к выполняемой задаче.
Чтобы добавить несколько параметров, нажмите
справа. Чтобы удалить параметр, нажмите Delete справа.Table 2 описывает общие параметры сервиса.
Справочник команд
Команда, отправляемая в фоновый режим для выполнения при отправке задачи.
Table 2 Параметры конфигурации сервиса Параметр
Описание
Пример значения
fs.obs.access.key
Идентификатор ключа для доступа к OBS.
-
fs.obs.secret.key
Ключ, соответствующий идентификатору ключа для доступа к OBS.
-
- Подтвердите информацию о конфигурации задания и нажмите OK.
После создания задания вы можете управлять им.