Импорт и экспорт данных

Источники данных, обрабатываемые MRS, находятся в OBS или HDFS. OBS — это объектный сервис хранения, предоставляющий масштабируемые, безопасные, надёжные и экономичные возможности хранения данных. MRS может обрабатывать данные в OBS напрямую. Вы можете просматривать, управлять и использовать данные с помощью веб‑страницы платформы управления или клиента OBS. Кроме того, вы можете использовать REST API независимо или интегрировать API в сервисные приложения для управления и доступа к данным.

Перед созданием задач загрузите локальные данные в OBS, чтобы MRS мог их вычислять и анализировать. MRS позволяет экспортировать данные из OBS в HDFS для вычислений и анализа. После завершения анализа и вычислений вы можете хранить данные в HDFS или экспортировать их в OBS. HDFS и OBS также могут хранить сжатые данные в формате bz2 или gz.

В настоящее время MRS может импортировать данные только из OBS в HDFS. Скорость загрузки файлов снижается с увеличением размера файла. Этот режим применяется в сценариях с небольшим объёмом данных.

Вы можете выполнить следующие шаги для импорта файлов и каталогов:

1. Войдите в консоль MRS.
2. На странице Active Clusters, отображаемой по умолчанию, нажмите название целевого кластера, чтобы открыть страницу сведений о кластере.
3. нажмите the Files tab, и перейдите на страницу управления файлами.
4. Выберите HDFS File List.
5. Перейдите в каталог хранения данных, например, bd_app1.

   Каталог bd_app1 приведён только в качестве примера. Вы можете использовать любой каталог на странице или создать новый.

   Требования к созданию папки следующие:

   • Имя папки может содержать максимум 255 символов
   • Имя папки не может быть пустым.
   • Имя папки не может содержать следующие специальные символы: /:*?"<>|\;&,'`!{}[]$%+
   • Значение не может начинаться или заканчиваться точкой (.).
   • Пробелы в начале и в конце игнорируются.
6. Нажмите Import Data и настройте пути HDFS и OBS корректно. При настройке пути OBS или HDFS нажмите Browse, выберите каталог файлов и нажмите Yes.
   • OBS path
     • Путь должен начинаться с obs://.
     • Файлы или программы, зашифрованные KMS, не могут быть импортированы.
     • Пустая папка не может быть импортирована.
     • Имя каталога и файла может содержать буквы, цифры, дефисы (-) и подчёркивания (_), но не может содержать следующие специальные символы ;|&>,<'$*?"
     • Имя каталога и файла не может начинаться или заканчиваться пробелом, но может содержать пробелы внутри.
     • Полный путь OBS может содержать максимум 255 символов.
   • HDFS path
     • Путь по умолчанию начинается с /user.
     • Имя каталога и файла может содержать буквы, цифры, дефисы (-) и подчёркивания (_), но не может содержать следующие специальные символы: ;|&>,<'$*?\:
     • Имя каталога и файла не может начинаться или заканчиваться пробелом, но может содержать пробелы внутри.
     • Полный путь HDFS может содержать максимум 255 символов.
7. нажмите OK.

   Вы можете просматривать прогресс загрузки файлов на странице вкладки File Operation Records. MRS обрабатывает операцию импорта данных как задачу DistCp. Вы также можете проверить, успешно ли выполнена задача DistCp, на странице вкладки Jobs.

После завершения анализа и вычислений данных вы можете сохранить данные в HDFS или экспортировать их в OBS.

Вы можете выполнить следующие шаги для экспорта файлов и каталогов:

1. Войдите в консоль MRS.
2. На странице Active Clusters, отображаемой по умолчанию, нажмите имя целевого кластера, чтобы открыть страницу сведений о кластере.
3. нажмите вкладку Files, и будет отображена страница управления файлами.
4. Выберите HDFS File List.
5. Перейдите в каталог хранения данных, например, bd_app1.
6. нажмите Export Data и настройте пути OBS и HDFS. При настройке пути OBS или HDFS нажмите Browse, выберите каталог файлов и нажмите Yes.
   • Путь OBS
     • Путь должен начинаться с obs://.
     • Имя каталога и файла может содержать буквы, цифры, дефисы (-) и подчёркивания (_), но не может содержать следующие специальные символы: ;|&>,<'$*?\"
     • Имя каталога и файла не может начинаться или заканчиваться пробелом, но может содержать пробелы внутри.
     • Полный путь OBS может содержать максимум 255 символов.
   • Путь HDFS
     • Путь по умолчанию начинается с /user.
     • Имя каталога и файла может содержать буквы, цифры, дефисы (-) и подчёркивания (_), но не может содержать следующие специальные символы: ;|&>,<'$*?\:
     • Имя каталога и файла не может начинаться или заканчиваться пробелом, но может содержать пробелы внутри.
     • Полный путь HDFS может содержать максимум 255 символов.
   Note

   При экспорте папки в OBS в путь OBS добавляется файл метки с именем folder name_$folder$. Убедитесь, что экспортируемая папка не пуста. Если экспортируемая папка пуста, OBS не может отобразить папку и создаёт только файл с именем folder name_$folder$.

7. Нажмите OK.

   Вы можете просматривать прогресс загрузки файлов на вкладке File Operation Records. MRS обрабатывает операцию экспорта данных как задачу DistCp. Вы также можете проверить успешность выполнения задачи DistCp на вкладке Jobs.

При импорте и экспорте данных в консоли управления MRS вы можете выбрать Files > File Operation Records для просмотра прогресса импорта и экспорта данных.

Table 1 описывает параметры записи операции с файлом.