Как подготовить исходные данных для MRS?

MapReduce Service может обрабатывать данные как из OBS, так и из HDFS. Перед использованием MRS для анализа данных их нужно подготовить следующим образом:

1. Загрузите данные в бакет OBS:

   1. Авторизуйтесь в консоль управления.

   2. В списке сервисов выберите Object Storage Service.

   3. Создайте бакет «userdata», после чего создайте в нем папки «program», «input» и «output»:

      • Для создания бакета: нажмите Create Bucket, в поле Bucket Name укажите «userdata» и нажмите Create Now.

      • Для создания папок: нажмите на название бакета, перейдите в раздел Objects и нажмите Create Folder. Последовательно создайте папки «program», «input» и «output».

   4. Загрузите данные в бакет «userdata»:

      • Нажмите на папку «program», нажмите Upload Object, перетащите программу в окно или нажмите Add file. Нажмите ОК.

      • Повторите процесс с папками «input» и «output».

2. Загрузите данные с OBS в HDFS.

Эта функция доступна только, если отключена проверка аутентификации Kerberos, а кластер находится в рабочем состоянии:

1. В списке сервисов выберите MapReduce Service.

2. Нажмите на название кластера, перейдите на вкладку Files и выберите HDFS File List.

3. Нажмите на папку хранилища данных, например, bd_app1 или создайте новую — нажмите Create Folder.

4. Нажмите Import Data. Нажмите Browse для загрузки файла из бакета OBS или указания пути HDFS.

Загруженный файл можно увидеть на вкладке Files → File Operation Records.