Импорт данных в таблицу из корзины OBS
Перед импортом файла в таблицу DLI необходимо сделать следующее:
При этом импортированный файл должен быть в формате CSV, Parquet, ORC, JSON или Avro. Текстовый формат должен быть UTF-8.
После того, как файл с данными был загружены в корзину OBS, можно приступать к импорту данных в таблицу DLI.
Импортировать данные можно через Data Management или через SQL Editor.
На этой странице:
Импорт данных через Data Management
Выберите
.В боковом меню слева выберите
.Нажмите на имя базы данных с таблицей, в которую будет импортирован файл, или в строке с ней на Manage Tables.
В строке с нужной таблицей нажмите More и выберите из списка Import.
Далее перейдите к заполнению параметров Import Data.
Импорт данных через SQL Editor
Выберите
.В боковом меню слева выберите SQL Editor.
Выберите вкладку Databases и нажмите на имя нужной базы данных.
В строке с нужной таблицей нажмите на значок
и выберите из списка Import.
Далее перейдите к заполнению параметров Import Data.
Параметры Import Data
Заполните следующие поля и нажмите кнопку ОК:
File Format — выберите из списка нужный формат файла. Поддерживаются форматы CSV, Parquet, ORC, JSON и Avro.
Queue — выберите очередь.
Path — нажмите на значок
и укажите путь к файлу в корзине OBS.
Примечание
Поля ниже заполняются при включенном переключателе Advanced Settings у файлов CSV или JSON форматов.
Table Header: No/Yes (только для файлов CSV формата) — активируйте чек-бокс, если у загружаемой таблицы есть заголовок (Table Header: Yes).
User-defined Delimiter (только для файлов CSV формата) — активировав чек-бокс, можно выбрать разделитель или определить свой (Others).
Значение по умолчанию — запятая (
,
).User-defined Quotation Character (только для файлов CSV формата) — активировав чек-бокс, можно выбрать символ кавычек или определить свой (Others).
Значение по умолчанию — двойные кавычки (
“
).User-defined Escape Character (только для файлов CSV формата) — активировав чек-бокс, можно выбрать escape-символ или определить свой (Others).
Значение по умолчанию — обратная косая черта (
\
).Date Format (только для файлов CSV или JSON формата) — укажите формат даты в таблице.
Значение по умолчанию —
ГГГГ-ММ-ДД
.Timestamp Format (только для файлов CSV или JSON формата) — укажите формат времени в таблице.
Значение по умолчанию —
ГГГГ-ММ-ДД ЧЧ:мм:сс
.Error Records Path (только для файлов CSV или JSON формата) — нажмите на значок
и укажите путь, где нужно сохранить данные об ошибках.
