Облачная платформаAdvanced

Как загрузить мои данные в OBS или HDFS?

Язык статьи: Русский
Показать оригинал
Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

MRS может обрабатывать данные в OBS и HDFS. Вы можете загрузить свои данные в OBS или HDFS следующим образом:

  1. Загрузите локальные данные в OBS.
    1. Войдите в консоль OBS.
    2. Создайте Parallel File System с именем userdata в OBS и создайте папки program, input, output и log в файловой системе.
      1. Выберите Parallel File System > Create Parallel File System и создайте файловую систему с именем userdata.
      2. В списке файловых систем OBS нажмите имя файловой системы userdata, выберите Files > Create Folder и создайте папки program, input, output и log.
    3. Загрузите данные в файловую систему userdata.
      1. Go to the program folder and click Upload File.
      2. Нажмите add file и выберите пользовательскую программу.
      3. Click Upload.
      4. Загрузите файл пользовательских данных в каталог input тем же способом.
  2. Импортируйте данные OBS в HDFS.

    You can import OBS data to HDFS only when Kerberos Authentication is disabled and the cluster is running.

    1. Войдите в консоль MRS.
    2. Нажмите имя кластера.
    3. На отображаемой странице выберите вкладку Files и нажмите HDFS File List.
    4. Выберите каталог данных, например, bd_app1.

      Каталог bd_app1 является лишь примером. Вы можете использовать любой каталог на странице или создать новый.

    5. Нажмите Import Data и нажмите Browse, чтобы выбрать путь OBS и путь HDFS.

    6. Нажмите OK.

      Вы можете просмотреть прогресс загрузки файлов на вкладке File Operation Records.

Как загрузить данные в OBS или HDFS? — документация MapReduce Service руководство пользователя облако Cloud.ru