Миграция данных из OBS в DLI

DLI — полностью управляемый сервис запросов больших данных. В этом разделе описывается, как использовать CDM для миграции данных из OBS в DLI. Процедура включает четыре шага:

1. Создание кластера CDM
2. Создание ссылки DLI
3. Создание ссылки OBS
4. Создание задания миграции

• Вы включили OBS и DLI и имеете разрешения на чтение данных из OBS.
• Вы создали очереди ресурсов, базы данных и таблицы в DLI.

Создайте кластер CDM.

В этом сценарии, если кластер CDM используется исключительно для миграции данных из OBS в DLI и не требуется мигрировать данные из других источников, для VPC, subnet и security group кластера CDM нет особых требований. Вы можете указать их в соответствии с вашими потребностями. CDM получает доступ к DLI и OBS через интранет. Флейвор кластера CDM выбирается в зависимости от объёма мигрируемых данных. Как правило, cdm.medium удовлетворяет требованиям большинства сценариев миграции.

1. Нажмите Job Management в столбце Operation кластера CDM. На отображаемой странице нажмите вкладку Links и затем Create Link. Отображается страница Select Connector.
2. Выберите Data Lake Insight, нажмите Next, и настройте параметры ссылки DLI. См. Figure 1.
   • Name: Введите пользовательское имя ссылки, например, dlilink.
   • AK и SK: Введите AK и SK, используемые для доступа к базе данных DLI.
   • Project ID: Введите идентификатор проекта региона, к которому относится DLI.

   Figure 1 Создание ссылки DLI

   
   

3. Нажмите Save. Отображается страница Link Management.

1. Нажмите Job Management в столбце Operation кластера CDM. На отображаемой странице нажмите вкладку Links, а затем Create Link. Отображается страница Select Connector.

   Figure 2 Выбор типа коннектора

   
   

2. Выберите Object Storage Service (OBS) и нажмите Next для настройки параметров ссылки OBS.
   • Name: Введите пользовательское имя ссылки, например, obslink.
   • OBS Server и Port: Введите фактическую информацию об адресе OBS.
   • AK и SK: Введите AK и SK, используемые для входа в OBS.

     Чтобы получить ключ доступа, выполните следующие действия:

     1. Войдите в консоль управления, переместите курсор к имени пользователя в правом верхнем углу и выберите My Credentials из выпадающего списка.
     2. На странице My Credentials выберите Access Keys и нажмите Create Access Key. См. Figure 3.

        Figure 3 Нажатие Create Access Key

        
        
     3. Нажмите OK и сохраните файл ключа доступа согласно подсказке. Файл ключа доступа будет сохранён в настроенном месте загрузки вашего браузера. Откройте файл credentials.csv, чтобы просмотреть Access Key Id и Secret Access Key.
        Note

        • Для каждого пользователя можно добавить только два ключа доступа.
        • Для обеспечения безопасности ключа доступа он автоматически загружается только при первом создании и позже не может быть получен из консоли управления. Храните их надлежащим образом.

3. Нажмите Save. Отображается страница Link Management.

1. Выберите Table/File Migration > Create Job для создания задания по миграции данных из OBS в DLI. См. Figure 4.

   Figure 4 Создание задания для миграции данных из OBS в DLI

   
   
   • Job Name: Введите пользовательское имя задания.
   • Source Link Name: Выберите ссылку obslink, созданную в Creating an OBS Link.
     • Bucket Name: Выберите бакет, из которого будут мигрировать данные.
     • Source Directory/File: Установите этот параметр в путь к данным, которые будут мигрировать.
     • File Format: Выберите CSV или JSON для передачи файлов в таблицу данных.
     • Сохраните значения по умолчанию для необязательных параметров в Show Advanced Attributes.
   • Destination Link Name: Выберите ссылку dlilink, созданную в Creating a DLI Link.
     • Resource Queue: Введите очередь ресурсов, к которой принадлежит целевая таблица.
     • Database Name: Введите имя базы данных, в которую будут записываться данные.
     • Table Name: Введите имя таблицы, в которую будут записываться данные. CDM не может автоматически создавать таблицы в DLI. Таблица должна быть создана в DLI заранее, а типы и форматы полей таблицы должны соответствовать типам и форматам данных, подлежащих миграции.
     • Clear Before Importing Data: Выберите, следует ли очищать данные в целевой таблице перед импортом данных. В этом примере оставьте значение по умолчанию.

2. нажмите Next. Страница Map Field отображается. CDM автоматически сопоставляет исходные и целевые поля.
   • Если сопоставление полей неверно, вы можете перетаскивать поля для корректировки сопоставления.
   • CDM поддерживает преобразование полей во время миграции.

3. нажмите Next и задайте параметры задачи. Как правило, оставьте значения параметров по умолчанию.

   На этом этапе вы можете настроить следующие необязательные функции:

   • Retry If Failed: Укажите, следует ли автоматически повторять джобу в случае её сбоя. Оставьте значение по умолчанию Never.
   • Group: Выберите группу, к которой принадлежит джоба. Группа по умолчанию — DEFAULT. На странице Job Management можно отображать, запускать или экспортировать джобы по группам.
   • Schedule Execution: Укажите, следует ли автоматически выполнять джобу в запланированное время. В этом примере оставьте значение по умолчанию No.
   • Concurrent Extractors: Введите количество одновременных экстракторов. Подобранное значение повышает эффективность миграции. Оставьте значение по умолчанию 1.
   • Write Dirty Data: Укажите этот параметр, если данные, не обработанные или отфильтрованные во время выполнения джобы, необходимо записать в OBS для последующего просмотра. Перед записью «грязных» данных создайте OBS‑ссылку в консоли CDM. Оставьте значение по умолчанию No, чтобы «грязные» данные не сохранялись.

   Рисунок 5 Настройка задачи

   
   

4. нажмите Save and Run. Отображается страница Job Management, на которой вы можете просматривать прогресс выполнения задачи и результат.
5. После успешного выполнения задачи, в столбце Operation задачи, нажмите Historical Record, чтобы просмотреть исторические записи выполнения задачи и статистику чтения/записи.

   На странице Historical Record нажмите Log, чтобы просмотреть логи задачи.