Импорт данных в таблицу из бакета OBS
Перед импортом файла в таблицу DLI необходимо сделать следующее:
При этом импортированный файл должен быть в формате CSV, Parquet, ORC, JSON или Avro. Текстовый формат должен быть UTF-8.
После того, как файл с данными был загружен в бакет OBS, можно приступать к импорту данных в таблицу DLI.
Импортировать данные можно через Data Management или через SQL Editor.
Импорт данных через Data Management
В списке сервисов выберите Data Lake Insight.
В боковом меню слева выберите Data Management → Databases and Tables.
Нажмите на имя базы данных с таблицей, в которую будет импортирован файл, или в строке с ней на Manage Tables.
В строке с нужной таблицей нажмите More и выберите из списка Import.
Далее перейдите к заполнению параметров Import Data.
Импорт данных через SQL Editor
В списке сервисов выберите Data Lake Insight.
В боковом меню слева выберите SQL Editor.
Выберите вкладку Databases и нажмите на имя нужной базы данных.
В строке с нужной таблицей нажмите на значок
и выберите из списка Import.
Далее перейдите к заполнению параметров Import Data.
Параметры Import Data
Заполните следующие поля и нажмите ОК:
File Format — выберите из списка нужный формат файла. Поддерживаются форматы CSV, Parquet, ORC, JSON и Avro.
Queue — выберите очередь.
Path — нажмите на значок
и укажите путь к файлу в бакете OBS.ПримечаниеПоля ниже заполняются при включенном переключателе Advanced Settings у файлов CSV или JSON форматов.
Table Header: No/Yes (только для файлов CSV формата) — включите опцию, если у загружаемой таблицы есть заголовок (Table Header: Yes).
User-defined Delimiter (только для файлов CSV формата) — включите опцию, чтобы выбрать разделитель или определить свой (Others).
Значение по умолчанию — запятая (,).
User-defined Quotation Character (только для файлов CSV формата) — включите опцию, чтобы выбрать символ кавычек или определить свой (Others).
Значение по умолчанию — двойные кавычки (“).
User-defined Escape Character (только для файлов CSV формата) — включите опцию, чтобы выбрать escape-символ или определить свой (Others).
Значение по умолчанию — обратная косая черта (\).
Date Format (только для файлов CSV или JSON формата) — укажите формат даты в таблице.
Значение по умолчанию — ГГГГ-ММ-ДД.
Timestamp Format (только для файлов CSV или JSON формата) — укажите формат времени в таблице.
Значение по умолчанию — ГГГГ-ММ-ДД ЧЧ:мм:сс.
Error Records Path (только для файлов CSV или JSON формата) — нажмите на значок
и укажите путь, где нужно сохранить данные об ошибках.
- Импорт данных через Data Management
- Импорт данных через SQL Editor
- Параметры Import Data