Создание Data Catalog, Database и Table в консоли DLI

1. Вы можете создать базу данных либо на странице Data Management, либо на странице SQL Editor.
   • Чтобы создать базу данных на странице Data Management:
     1. В панели навигации слева от консоли выберите Data Management > Databases and Tables.
     2. В правом верхнем углу страницы Databases and Tables нажмите Create Database, чтобы создать базу данных.
   • Чтобы создать базу данных на странице SQL Editor:
     1. В панели навигации слева от консоли управления выберите SQL Editor.
     2. В панели навигации слева нажмите рядом с Databases.

2. В отображаемом Create Database диалоговом окне укажите Name и Description, ссылаясь на Table 1.

   Table 1 Описание параметров

   Parameter	Description
   Database Name	Разрешены только цифры, буквы и символы подчеркивания (_) . Значение не может состоять только из цифр или начинаться с подчеркивания (_) . Имя базы данных не чувствительно к регистру и не может быть пустым. Значение может содержать не более 128 символов. ПРИМЕЧАНИЕ: База данных default является встроенной. Вы не можете создать базу данных default.
   Description	Описание базы данных.
   Теги	Теги используются для идентификации облачных ресурсов. Тег включает ключ тега и значение тега. Если вы хотите использовать один и тот же тег для идентификации нескольких облачных ресурсов, то есть выбирать один и тот же тег из раскрывающегося списка для всех сервисов, рекомендуется создавать предопределённые теги в сервисе Tag Management Service (TMS). ПРИМЕЧАНИЕ: Можно добавить максимум 20 тегов. Для ключа тега можно добавить только одно значение тега. Имя ключа в каждом ресурсе должно быть уникальным. Ключ тега: Введите имя ключа тега в текстовое поле. ПРИМЕЧАНИЕ: Ключ тега может содержать максимум 128 символов. Допустимы только буквы, цифры, пробелы и специальные символы (_.:+-@), но значение не может начинаться или заканчиваться пробелом или начинаться с _sys_. Значение тега: Введите значение тега в текстовое поле. ПРИМЕЧАНИЕ: Значение тега может содержать максимум 255 символов. Допустимы только буквы, цифры, пробелы и специальные символы (_.:+-@).

3. Нажмите OK.

   После создания базы данных вы можете просматривать и выбирать базу данных для использования на странице Databases and Tables или на странице SQL Editor.

Прежде чем создавать таблицу, убедитесь, что база данных создана.

1. Вы можете создать таблицу на странице Databases and Tables или на странице SQL Editor.
   Note

   Таблицы соединения источников данных, такие как View tables, HBase (MRS) tables, OpenTSDB (MRS) tables, DWS tables, RDS tables и CSS tables, не могут быть созданы. Вы можете использовать SQL для создания View и таблиц соединения источников данных. Для получения подробной информации см. "Creating a View" и "Creating a Datasource Connection Table" в Data Lake Insight SQL Syntax Reference.

   • Чтобы создать таблицу на странице Data Management:
     1. В панели навигации слева от консоли выберите Data Management > Databases and Tables.
     2. On the Databases and Tables page, select the database for which you want to create a table. In the Operation column, click More > Create Table to create a table in the current database.
   • Чтобы создать таблицу на странице SQL Editor:
     1. В панели навигации слева от консоли управления выберите SQL Editor.
     2. В панели навигации отображаемой страницы SQL Editor нажмите Databases. Вы можете создать таблицу одним из следующих способов:
        • Click a database name. In the Tables area, click on the right to create a table in the current database.
        • Click on the right of the database and choose Create Table from the shortcut menu to create a table in the current database.

2. In the displayed Create Table dialog box, set parameters as required.
   • If you set Data Location to DLI, set related parameters by referring to Table 2.
   • If you set Data Location to OBS, set related parameters by referring to Table 2 and Table 3.

     Если в каталоге OBS присутствуют и папка, и файл с одинаковым именем, при создании OBS‑таблицы, указывающей этот путь, будет отдаваться приоритет файлу, а не папке.

     Table 2 Общие параметры

     Параметр	Описание	Пример
     Имя таблицы	Разрешены только цифры, буквы и символы подчеркивания (_). Значение не может состоять только из цифр или начинаться с подчеркивания (_). Имя таблицы не чувствительно к регистру и не может оставаться неуказанным. Имя таблицы может содержать знак доллара ($). Пример значения: $test. Значение может содержать не более 128 символов.	table01
     Расположение данных	Местоположение хранения данных. В настоящее время поддерживаются DLI и OBS.	DLI
     Описание	Описание таблицы.	-
     Тип столбца	Доступные значения: Normal или Partition	Normal
     Column	Имя столбца в таблице. Имя столбца должно содержать как минимум одну букву и может содержать символы подчеркивания (_). Оно не может состоять только из цифр. Вы можете выбрать Normal или Partition. Столбцы Partition предназначены для таблиц разделов. Данные пользователя разделяются для повышения эффективности запросов. NOTE: Имя столбца не чувствительно к регистру и должно быть уникальным.	name
     Type	Тип данных столбца. Этот параметр соответствует Column Name. string: Данные имеют тип string. int: Каждый целочисленный тип хранится в четыре байта. date: Значения находятся в диапазоне от 0000-01-01 до 9999-12-31. double: Каждое число хранится в восемь байт. boolean: Каждое значение хранится в один байт. decimal: Допустимые разряды — положительные целые числа от 1 до 38 включительно. Десятичные цифры — целые числа меньше 10. smallint/short: Число хранится в двух байтах. bigint/long: Число хранится в восьми байтах. timestamp: Данные указывают дату и время. Значение может быть точным до шести десятичных знаков. float: Каждое число хранится в четырех байтах. tinyint: Каждое число хранится в одном байте. Этот тип данных поддерживается только таблицами OBS.	string
     Описание столбца	Описание столбца.	-
     Операция	Add Column Delete NOTE: Если создаваемая таблица содержит большое количество столбцов, рекомендуется использовать SQL‑операторы для создания таблицы или импортировать информацию о столбцах из локального файла EXCEL.	-

     Table 3 Описание параметров, когда Data Location установлен в OBS

     Параметр	Описание	Пример
     Формат данных	DLI поддерживает следующие форматы данных: Parquet: DLI может читать несжатые данные или данные, сжатые с помощью Snappy и gzip. CSV: DLI может читать несжатые данные или данные, сжатые с помощью gzip. ORC: DLI может читать несжатые данные или данные, сжатые с помощью Snappy. JSON: DLI может читать несжатые данные или данные, сжатые с помощью gzip. Avro: DLI может читать несжатые данные Avro.	CSV
     Путь к хранилищу	Введите или выберите путь OBS. Путь может быть файлом или папкой. При создании таблицы OBS необходимо указать папку в качестве пути. Если указан файл, данные импортировать нельзя. Если в каталоге OBS присутствуют и папка, и файл с одинаковым именем, при импорте данных, указывающих этот путь, будет отдаваться приоритет файлу над папкой.	obs://obs1/sampledata.csv
     Заголовок таблицы: No/Yes	Этот параметр действителен только когда Data Format установлен в CSV. Содержит ли импортируемый источник данных заголовок таблицы. Нажмите Advanced Settings и установите флажок рядом с Table Header: No. Если флажок установлен, заголовок таблицы отображается. Если флажок снят, заголовок таблицы не отображается.	-
     User-defined Delimiter	Этот параметр действителен только когда Data Format установлен в CSV и вы выбираете User-defined Delimiter. Поддерживаются следующие разделители: Запятая (,) Вертикальная черта (|) Символ табуляции (\t) Прочие: введите пользовательский разделитель.	Запятая (,)
     User-defined Quotation Character	Этот параметр действителен только когда Data Format установлен в CSV и вы выбираете User-defined Quotation Character. Поддерживаются следующие символы кавычек: Одинарная кавычка (') Двойные кавычки (") Прочее: введите пользовательский символ кавычек.	Одинарная кавычка (')
     User-defined Escape Character	Этот параметр действителен только когда Data Format установлен в CSV и вы выбираете User-defined Escape Character. Поддерживаются следующие символы экранирования: Backslash (\\) Прочее: введите пользовательский символ экранирования.	Backslash (\\)
     Date Format	Этот параметр действителен только когда Data Format установлен в CSV или JSON. Этот параметр задаёт формат даты в таблице и действителен только при выбранных Advanced Settings. Значение по умолчанию — yyyy-MM-dd. Описание символов, используемых в шаблоне даты, см. Таблицу 3 в .	2000-01-01
     Timestamp Format	Этот параметр действителен только когда Data Format установлен в CSV или JSON. Этот параметр задаёт формат метки времени в таблице и действителен только при выбранных Advanced Settings. Значение по умолчанию — yyyy-MM-dd HH:mm:ss. Описание символов, используемых в шаблоне времени, см. Таблицу 3 в .	2000-01-01 09:00:00

3. нажмите OK.

   После создания таблицы вы можете просмотреть и выбрать таблицу для использования на странице Data Management или на странице SQL Editor.

После создания таблицы вы можете импортировать данные из других OBS бакетов в таблицу.

Подробную информацию о том, как импортировать данные, см. Importing OBS Data to a DLI Table.