Задания MRS

Задание можно создать и запустить двумя способами:

Создание задания через GUI

  1. В списке сервисов выберите MapReduce Service.

  2. Нажмите на название кластера «mrs_demo».

    ../_images/s__cluster-mrs-demo.jpeg

  3. Перейдите на вкладку Jobs и нажмите Create.

  4. Заполните следующие поля и нажмите ОК:

    1. Type — выберите тип задания «MapReduce».

    2. Name — укажите название задания.

    3. Program Path — нажмите OBS и выберите путь к программе hadoop-mapreduce-examples-3.1.3.jar, которую загрузили в бакет в папку «program».

    4. Parameters — введите следующее: wordcount s3a://mrs-word/input/ s3a://mrs-word/output/, где s3a://mrs-word/input/ — путь к созданной ранее папке «input» в бакете «mrs-word», а путь с output — путь к папке бакета, в которую будет выгружен результат задания.

    ../_images/s__create-job.jpeg

  5. В таблице появится запущенное задание. Теперь можно перейти к просмотру результата выполненного задания.

    ../_images/s__view-the-result-of-job.jpeg

Создание задания через узел кластера

  1. В списке сервисов выберите MapReduce Service.

  2. В боковом меню слева выберите Clusters → Active Clusters.

  3. Нажмите на название кластера «mrs_demo».

  4. Перейдите на вкладку Nodes и раскройте master-узлы. Нажмите на название узла «node_master1».

  5. В новом окне нажмите Remote Login.

    ../_images/s__push-button-remote-login.jpeg

  6. Авторизуйтесь в узле — введите логин («root») и пароль.

  7. Для настройки переменной среды введите команду:

    source /opt/client/bigdata_env

  8. В целях безопасности, для авторизации текущего пользователя введите команду, а затем пароль:

    kinit MRS cluster username

    Параметр:

    MRS cluster username — логин текущего пользователя.

    ../_images/s__mrs-cluster-username.jpeg

  9. На данном шаге вам понадобятся ключи доступа AK и SK. Для копирования программы hadoop-mapreduce-examples-3.1.3.jar из бакета OBS введите следующую команду:

    hadoop   fs   - Dfs . s3a . access . key = AK   - Dfs . s3a . secret . key = SK   - copyToLocal   source_path . jar   target_path . jar

    Параметры:

    • AK — Access Key ID.

    • SK — Secret Access Key.

    • source_path.jar — путь к программе :file:hadoop-mapreduce-examples-3.1.3.jar в бакете OBS.

    • target_path.jar — путь размещения программы на узле.

    Например, в нашем случае команда будет следующей (только подставьте свои ключи AK и SK):

    hadoop   fs   - Dfs . s3a . access . key = AK   - Dfs . s3a . secret . key = SK   - copyToLocal   s3a : // mrs - word / program / hadoop - mapreduce - examples - 3.1.3 . jar   / home / omm / hadoop - mapreduce - examples - 3.1.3 . jar
    Примечание

    Для вставки команды в узел воспользуйтесь кнопкой Input Commands. Вставьте команду и нажмите Send.

    ../_images/s__button-input-command.jpeg

  10. Для создания задания введите следующую команду:

    source   / opt / client / bigdata_env ; hadoop   jar   target_path   wordcount   - Dfs . s3a . access . key = AK   - Dfs . s3a . secret . key = SK   input_path   output_path

    Параметры:

    • target_path — путь размещения программы hadoop-mapreduce-examples-3.1.3.jar на узле.

    • AK — Access Key ID.

    • SK — Secret Access Key.

    • input_path — путь к созданной ранее папке «input» в бакете «mrs-word».

    • output_path — путь к папке бакета «output», в которую будет выгружен результат задания.

    Например, в нашем случае команда будет следующей (только подставьте свои ключи AK и SK):

    source   / opt / client / bigdata_env ; hadoop   jar   / home / omm / hadoop - mapreduce - examples - 3.1.3 . jar   wordcount   - Dfs . s3a . access . key = AK   - Dfs . s3a . secret . key =   SK   s3a : // mrs - word / input /   s3a : // mrs - word / output /

  11. Задание запущено. Теперь можно перейти к просмотру результата выполненного задания.

Была ли статья полезной ?
Предыдущая статья
Создание кластера MRS
Следующая статья
Просмотр результата выполнения задания
/ DOCS
Advanced