Миграция бакета S3 в облако Advanced

Подготовка исходного бакета S3

1. Скачайте ключи доступа SecretId и SK (Secret Key) к исходному бакету S3.

   Примечание

   В некоторых облачных сервисах ключи доступа SecretId и SK к исходному бакету S3 можно получить только для сервисных аккаунтов.

2. Скопируйте и сохраните адрес точки подключения (endpoint) к исходному бакету S3, например «storage.mycloud.net».

Создание бакета OBS

Подготовка кластера CDM

1. Войдите в консоль управления Advanced:

   • через личный кабинет Cloud.ru;

   • как IAM-пользователь.

2. В списке сервисов выберите DataArts Studio.

3. Выберите инстанс DataArts Studio и нажмите Access.

   Примечание

   Если инстанс DataArts Studio отсутствует, то необходимо создать его (en).

4. Откройте инстансу DataArts Studio доступ в интернет. Для этого:

   • Создайте внешний IP-адрес.

   • Создайте NAT-шлюз в той же подсети, где расположен кластер CDM.

   • Добавьте SNAT-правило и привяжите к NAT-шлюзу созданный ранее внешний IP-адрес.

5. Перейдите на вкладку Workspace Management.

6. Выберите Data Integration для соответствующей рабочей области.

7. Выберите Cloud Data Migration.

   Примечание

   Если инстанс CDM отсутствует, то необходимо создать его (en).

Создание коннекторов

1. На странице Cluster Management выберите Job Management → Links → Create Link.

2. Выберите коннектор типа «Amazon S3» для исходного бакета S3 и нажмите Next.

3. На странице настройки коннектора для исходного бакета S3 задайте его параметры:

   • Name — введите название коннектора.

   • Endpoint — введите адрес точки подключения (endpoint) к источнику данных. Например «storage.mycloud.net».

   • SecretId — вставьте идентификатор секретного ключа.

   • SK — вставьте секретный ключ SK к бакету.

4. Нажмите Test для проверки коннектора или нажмите Save, и система автоматически проверит соединение и сохранит коннектор после успешной проверки.

   Примечание

   Если транспортная сеть имеет низкую пропускную способность или источник данных имеет слишком большой размер, проверка коннектора может занять от 30 до 60 секунд.

5. Нажмите Create Link, чтобы перейти к созданию коннектора для целевого бакета OBS.

6. Выберите коннектор типа «Object Storage Service (OBS)» для целевого бакета в облаке Advanced и нажмите Next.

7. На странице настройки коннектора задайте его параметры:

   • Name — введите название коннектора.

   • OBS Bucket Type — тип данных источника. Выберите Object Storage.

   • AK — вставьте ключ доступа AK к бакету OBS.

   • SK — вставьте секретный ключ доступа SK к бакету OBS.

   См.также

   Инструкция по созданию ключей доступа для ресурсов Object Storage Service.

8. Нажмите Test для проверки коннектора или нажмите Save, и система автоматически проверит соединение и сохранит коннектор после успешной проверки.

   См.также

   Дополнительные сведения о параметрах данных разных типов:

   • Параметры для ссылки-источника (en)

   • Параметры для целевой ссылки (en)

Создание и запуск задания на миграцию

1. Выберите Job Management → Table/File Migration → Create Job на странице Cluster Management.

2. Укажите настройки задания на шаге Configure Basic Information:

   • Job Name — введите название задания.

     Название содержит от 1 до 256 символов и состоит из латинских букв, подчеркиваний (_), точек, дефисов и цифр, например «oracle2obs_t».

   • Source Link Name — выберите источник, из которого мигрируете данные.

   • Destination Link Name — выберите конечную точку, в которую мигрируете данные.

3. Укажите в блоке Source Job Configuration:

   • Bucket Name — название бакета S3, из которого мигрируете данные.

   • Source Directory/File — путь к каталогу, из которого мигрируете данные. Например, укажите «/», если нужно мигрировать содержимое всего бакета.

   • File Format — формат данных, в котором необходимо выполнить миграцию данных из источника. Для переноса всех файлов выберите Binary.

4. Укажите в блоке Destination Job Configuration:

   • Bucket Name — название бакета, в который мигрируете данные, например «bucket_2».

   • Write Directory — путь к каталогу OBS, в который мигрируете данные, например корневой каталог бакета «/».

   • File Format — формат данных, в котором мигрируете данные. Для переноса всех файлов выберите Binary.

     Примечание

     При переносе данных между источниками данных, связанными с файлами, такими как FTP, SFTP, NAS, HDFS и OBS, значение параметра File Format должно совпадать с значением исходного формата файла.

     Если файлы переносятся между FTP, SFTP, NAS, HDFS и OBS, а для источника миграции установлено значение Binary, то файлы будут передаваться напрямую, без сопоставления полей.

   • Duplicate File Processing Method — метод обработки дубликатов файлов. Выберите Skip.

     Файлы с одинаковым именем и одного размера идентифицируются как дубликаты. При наличии дубликатов во время записи данных доступны следующие методы:

     • Replace — заменить;

     • Skip — пропустить;

     • Abandon — прекратить.

   См.также

   Дополнительные сведения о настройках параметров

5. Нажмите Show Advanced Attributes в блоке Source Job Configuration и Destination Job Configuration для настройки дополнительных атрибутов источника данных и конечной точки миграции.

   См.также

   Настройка дополнительных атрибутов в задании на миграцию (en)

6. Нажмите Next для завершения создания задачи миграции.

7. Задайте расписание для выполнения задания миграции данных на шаге Configure Task:

   • Retry if Failure — количество повторных попыток при сбое. Выберите Never или Retry 3 times if failed.

     Подсказка

     Рекомендуется настроить автоматическую повторную попытку только для заданий переноса файлов или баз данных с включенным параметром Import to Staging Table, чтобы избежать несогласованности данных, вызванной повторной записью данных.

   • Group — выберите группу, в которой находится задание (группа по умолчанию — DEFAULT).

     На странице Job Management задания можно отображать, запускать или экспортировать по группам.

   • Schedule Execution — включите возможность выполнения задания по расписанию.

     Если выбран вариант Да, то можно задать время начала, цикл и срок действия задания.

   См.также

   Дополнительные сведения о планировании задания (en)

   • Show Advanced Attributes — нажмите для настройки дополнительных атрибутов расписания миграции данных.

   См.также

   Дополнительные атрибуты в задании на миграцию (en)

8. Нажмите Save and Run, чтобы сохранить и сразу запустить задание. Нажмите Save, чтобы только сохранить задание.

   Задание можно запустить в любой момент — для этого на вкладке Table/File Migration нажмите Run.

Просмотр результатов миграции

1. Статус запущенного задания можно просмотреть на вкладке Table/File Migration.

   Примечание

   Состояние задания может быть New, Pending, Booting, Running, Failed, Succeeded или Stopped.

   Pending означает, что задание ожидает выполнения по расписанию, а Booting означает, что данные, подлежащие миграции, анализируются.

2. После успешного завершения задания на миграцию откройте целевой бакет в консоли управления Object Storage Service и убедитесь, что он содержит файлы из исходного бакета S3.