Миграция данных из S3 в сервис OBS средствами CDM

Перед началом работы

1. Войдите в консоль управления Advanced:

   • через личный кабинет Cloud.ru;

   • как IAM-пользователь.

2. В списке сервисов выберите DataArts Studio.

1. Нажмите на логин пользователя в правом верхнем углу и перейдите в раздел My Credentials → Access Keys.

2. Нажмите Create Access Key.

3. Чтобы сохранить Access Key и Secret Key, нажмите Download. На компьютер будет загружен файл credentials.csv.

Создание инстанса DataArts Studio

1. В списке сервисов выберите DataArts Studio.

2. При появлении окна с доступом к облачным ресурсам, активируйте параметры ALL, OBS и нажмите Authorize:

   

3. Чтобы создать инстанс, нажмите Create Instance.

4. Задайте параметры:

   • Region — выберите регион, в котором будет создан инстанс;

   • Enterprise Project — выберите проект, в котором будет создан инстанс;

   • Instance Name — задайте название инстанса.

5. Нажмите Create Now.

Создание инстанса CDM

1. В консоли сервиса DataArts Studio в разделе Available Instances нажмите Create:

   

2. Задайте параметры:

   • Package — выберите CDM;

   • AZ — выберите зону доступности, в которой будет создан инстанс;

   • Workspace — выберите пространство;

   • Cluster — задайте название инстанса CDM;

   • Instance — выберите тип флейвора для инстанса CDM;

   • VPC — выберите виртуальную сеть, в которой будет размещен инстанс;

   • Subnet — выберите подсеть, в которой будет размещен инстанс;

   • Security Group — выберите группу безопасности.

3. Нажмите Create Now.

Настройка подключений к источникам данных

• к целевому хранилищу в OBS;

• к исходному S3-хранилищу.

Настройка подключения к хранилищу S3

1. В консоли сервиса DataArts Studio выберите пространство, в котором был создан инстанс CDM, и нажмите Data Integration.

2. В разделе Cluster Management нажмите Job Management в строке инстанса.

3. Переключитесь на вкладку Links и нажмите Create Link.

4. В списке источников данных выберите Amazon S3 и нажмите Next.

5. Задайте параметры:

   • Name — название источника данных;

   • Endpoint — IP-адрес или доменное имя для подключения к сервису S3;

   • SecretID — ключ доступа для подключения к сервису S3;

   • SK — секретный ключ доступа к сервису S3.

6. Чтобы проверить подключение, нажмите Test.

7. Чтобы сохранить источник данных, нажмите Save.

Настройка задания миграции в сервисе CDM

1. В разделе Cluster Management нажмите Job Management в строке инстанса.

2. На вкладке Table/File Migration нажмите Create Job.

3. Задайте параметры:

   • Job Name — задайте название задания миграции;

   • Source Link Name — в качестве источника данных выберите хранилище S3, откуда нужно перенести данные;

   • Destination Link Name — выберите целевое хранилище OBS, в которое нужно перенести данные;

   • Bucket Name — укажите названия исходного и целевого бакетов в соответствующих полях;

   • Source Directory/File — укажите каталоги и файлы, которые нужно перенести в OBS;

   • Write Directory — укажите каталог, в который будут записаны новые объекты;

   • File Format — выберите формат файлов, которые будут перенесены (при миграции бакета целиком выберите Binary).

4. Нажмите Next.

5. При необходимости задайте дополнительные параметры:

   • Retry if failed — повторный запуск задания в случае возникновения ошибки;

   • Schedule Execution — настройка запуска по расписанию.

6. Чтобы сохранить задание миграции, нажмите Save.

7. Чтобы запустить задание, нажмите Run.

8. Чтобы просмотреть результаты миграции, нажмите Historical Record в строке задания.