Импорт данных в таблицу из корзины OBS

Перед импортом файла в таблицу DLI необходимо сделать следующее:

При этом импортированный файл должен быть в формате CSV, Parquet, ORC, JSON или Avro. Текстовый формат должен быть UTF-8.

После того, как файл с данными был загружены в корзину OBS, можно приступать к импорту данных в таблицу DLI.

Импортировать данные можно через Data Management или через SQL Editor.

Импорт данных через Data Management

  1. Выберите EI Enterprise Intelligence → Data Lake Insight.

  2. В боковом меню слева выберите Data Management → Databases and Tables.

  3. Нажмите на имя базы данных с таблицей, в которую будет импортирован файл, или в строке с ней на Manage Tables.

    ../_images/s__table-import-dm-1.jpeg

  4. В строке с нужной таблицей нажмите More и выберите из списка Import.

    ../_images/s__table-import-dm-2.jpeg

  5. Далее перейдите к заполнению параметров Import Data.

Импорт данных через SQL Editor

  1. Выберите EI Enterprise Intelligence → Data Lake Insight.

  2. В боковом меню слева выберите SQL Editor.

  3. Выберите вкладку Databases и нажмите на имя нужной базы данных.

    ../_images/s__table-import-sqleditor-1.jpeg

  4. В строке с нужной таблицей нажмите на значок Menu и выберите из списка Import.

    ../_images/s__table-import-sqleditor-2.jpeg

  5. Далее перейдите к заполнению параметров Import Data.

Параметры Import Data

Заполните следующие поля и нажмите кнопку ОК:

  1. File Format — выберите из списка нужный формат файла. Поддерживаются форматы CSV, Parquet, ORC, JSON и Avro.

  2. Queue — выберите очередь.

  3. Path — нажмите на значок Show location и укажите путь к файлу в корзине OBS.

    Примечание

    Поля ниже заполняются при включенном переключателе Advanced Settings у файлов CSV или JSON форматов.

  4. Table Header: No/Yes (только для файлов CSV формата) — активируйте чек-бокс, если у загружаемой таблицы есть заголовок (Table Header: Yes).

  5. User-defined Delimiter (только для файлов CSV формата) — активировав чек-бокс, можно выбрать разделитель или определить свой (Others).

    Значение по умолчанию — запятая (,).

  6. User-defined Quotation Character (только для файлов CSV формата) — активировав чек-бокс, можно выбрать символ кавычек или определить свой (Others).

    Значение по умолчанию — двойные кавычки (“).

  7. User-defined Escape Character (только для файлов CSV формата) — активировав чек-бокс, можно выбрать escape-символ или определить свой (Others).

    Значение по умолчанию — обратная косая черта (\).

  8. Date Format (только для файлов CSV или JSON формата) — укажите формат даты в таблице.

    Значение по умолчанию — ГГГГ-ММ-ДД.

  9. Timestamp Format (только для файлов CSV или JSON формата) — укажите формат времени в таблице.

    Значение по умолчанию — ГГГГ-ММ-ДД ЧЧ:мм:сс.

  10. Error Records Path (только для файлов CSV или JSON формата) — нажмите на значок Show location и укажите путь, где нужно сохранить данные об ошибках.

../_images/s__table-import-parameters.jpeg