tocdepth

2

Как подготовить исходные данных для MRS?

MapReduce Service может обрабатывать данные как из OBS, так и из HDFS. Перед использованием MRS для анализа данных их нужно подготовить следующим образом:

  1. Загрузите данные в бакет OBS:

    1. Авторизуйтесь в консоль управления.

    2. В списке сервисов выберите Object Storage Service.

    3. Создайте бакет «userdata», после чего создайте в нем папки «program», «input» и «output»:

      • Для создания бакета: нажмите Create Bucket, в поле Bucket Name укажите «userdata» и нажмите Create Now.

      • Для создания папок: нажмите на название бакета, перейдите в раздел Objects и нажмите Create Folder. Последовательно создайте папки «program», «input» и «output».

    4. Загрузите данные в бакет «userdata»:

      • Нажмите на папку «program», нажмите Upload Object, перетащите программу в окно или нажмите Add file. Нажмите ОК.

      • Повторите процесс с папками «input» и «output».

  2. Загрузите данные с OBS в HDFS.

Эта функция доступна только, если отключена проверка аутентификации Kerberos, а кластер находится в рабочем состоянии:

  1. В списке сервисов выберите MapReduce Service.

  2. Нажмите на название кластера, перейдите на вкладку Files и выберите HDFS File List.

  3. Нажмите на папку хранилища данных, например, bd_app1 или создайте новую — нажмите Create Folder.

  4. Нажмите Import Data. Нажмите Browse для загрузки файла из бакета OBS или указания пути HDFS.

Загруженный файл можно увидеть на вкладке Files → File Operation Records.

Запустили Evolution free tier
для Dev & Test
Получить