Distributed Train

Миграция данных из внешнего S3 в Evolution

Мигрировать данные можно одним из способов:

создав кастомный коннектор к внешнему S3-бакету и использовав правила переноса данных для миграции;
с помощью сторонних инструментов, например Rclone (не описывается в этой статье).

Шаг 1. Получите реквизиты доступа к Object Storage

Эти данные понадобятся, когда будете заполнять Секретные данные коннектора. Для заполнения получите реквизиты доступа:

Tenant ID — идентификатор тенанта. ID тенанта можно скопировать в карточке Object Storage раздела Evolution.
Key ID (логин) и Key Secret (пароль) — формируются при создании персонального API-ключа или ключа сервисного аккаунта.

Создайте кастомный коннектор к S3-бакету в Evolution.
1. Перейдите в раздел Data Catalog → Data Transfer Service → Коннекторы.
2. Нажмите Создать коннектор.
3. Выберите источник — Custom S3.
4. Введите Название коннектора.
5. Укажите Общие данные коннектора:
  - S3 endpoint
  - Название S3 бакета
6. Укажите Секретные данные коннектора, полученные на шаге 1.
7. Нажмите Создать.
  
  После создания коннектор отобразится в таблице коннекторов.
Перейдите в Data Catalog → Data transfer service → Правила переносов и создайте правило переноса.

В качестве места назначения переноса укажите созданный коннектор.

Была ли эта статья полезна?