tocdepth

2

Создание кластера MRS

Настройка программного обеспечения

  1. В списке сервисов выберите MapReduce Service.

  2. Нажмите Create Cluster.

    ../_images/s__button-create-cluster.jpeg

  3. Выберите режим Custom Config.

  4. Далее укажите:

    1. Cluster Name — название кластера.

    2. Cluster Type — в Analysis cluster выберите все компоненты.

    ../_images/s__settings-custom-config.jpeg

  5. На странице ниже сделайте следующее и нажмите Next:

    1. Kerberos Authentication — отключите проверку аутентификации Kerberos.

    2. Username — по умолчанию имя пользователя «admin» для авторизации в MRS Manager.

    3. Password и Confirm Password — укажите и подтвердите пароль для авторизации в MRS Manager.

    ../_images/s__next-settings-custom-config.jpeg

Настройка средств аппаратного обеспечения

  1. Заполните следующие поля:

    • AZ — выберите зону доступности.

    • VPC — выберите из списка сеть.

    • Subnet — выберите из списка подсеть.

  2. На странице ниже заполните следующие поля и нажмите Next:

    1. Login Mode — выберите режим Password.

    2. Username — по умолчанию имя пользователя «root» для авторизации в узле ECS.

    3. Password и Confirm Password — укажите и подтвердите пароль для авторизации в узле ECS.

    ../_images/s__settings-log-pass.jpeg

  3. В новом окне нажмите Create Now.

  4. Нажмите Back to Cluster List.

  5. Создание кластера займет некоторое время. Необходимо дождаться пока его статус не изменится на Running. Для обновления статуса кластера воспользуйтесь значком button__refresh (Refresh).

    ../_images/s__creating-cluster-process.jpeg

Подготовка программы и файлов с данными

На данном этапе будут использоваться тестовые примеры файлов с данными, а также программа Hadoop с установленным на нее компонентом wordcount.

  1. Перейдите по ссылке для скачивания программы Hadoop с установленным компонентом wordcount.

  2. Выберите, например, hadoop-3.1.3.tar.gz. Распакуйте его. Программу hadoop-mapreduce-examples-3.1.3.jar вы найдете в каталоге hadoop-3.1.3\share\hadoop\mapreduce.

    ../_images/s__hadoop-download.jpeg

  3. Подготовьте пару файлов формата txt. В данном примере используем файлы wordcount1.txt и wordcount2.txt.

    ../_images/s__example-notes.jpeg

  4. Выберите сервис Storage → Object Storage Service.

  5. Нажмите Create Bucket.

  6. В поле Bucket Name укажите название бакета и нажмите Create.

  7. Нажмите на название бакета.

  8. Перейдите в раздел Objects и нажмите Create Folder.

  9. В поле Folder Name введите «program» и нажмите ОК. После чего создайте еще одну папку с названием «input».

  10. Перейдите в папку «program», нажмите Upload Object. Нажмите Add file и выберите скачанную ранее программу Hadoop, после чего нажмите Upload.

    ../_images/s__upload-object.jpeg

  11. Перейдите в папку «input» и загрузите созданные ранее файлы wordcount1.txt и wordcount2.txt по аналогии с предыдущим пунктом.

  12. Теперь нужно создать и запустить задание (job).

Запустили Evolution free tier
для Dev & Test
Получить