tocdepth

2

Миграция данных из S3 ML Space в Evolution

В зависимости от того, находятся ли ML Space и Evolution в одном проекте, алгоритм миграции будет отличаться.

ML Space и Evolution в одном проекте

Необходимо создать коннектор и правило переноса в S3-бакет на платформе Evolution, используя интерфейс платформы.

  1. Чтобы использовать бакет S3 Evolution в качестве источника или места назначения, убедитесь, что у вас подключен Object Storage.

    Если Object Storage не подключен, воспользуйтесь инструкцией.

  2. Создайте бакет S3 на платформе Evolution в разделе Object Storage.

    Примечание

    По умолчанию будет использоваться стандартный класс хранения.

  3. Перейдите в Data Catalog → Data transfer service → Правила переносов.

  4. Нажмите Создать правило. Откроется окно конфигурации правила переноса.

  5. Укажите Название и, если необходимо, Описание правила переноса.

  6. Выберите источник переноса.

    Примечание

    При переносе данных из СУБД рекомендуется максимально ограничивать права доступа к целевой базе данных.

    1. Укажите коннектор для подключения к источнику данных. Если вы переносите данные с NFS, выберите регион.

    2. Укажите Путь к папке или файлу, которые требуется перенести.

  7. Укажите место назначения переноса.

    1. Укажите коннектор для подключения к месту переноса данных. Если вы переносите данные на NFS, выберите регион.

    2. Укажите Путь к папке или файлу, куда требуется осуществить перенос.

  8. В поле Способ переноса выберите предпочтительный вариант:

    • Добавлять все к существующим данным.

    • Добавлять только новые записи.

    • Полная синхронизация.

  9. В параметрах запуска укажите время запуска и периодичность.

  10. Нажмите Создать правило.

После сохранения правило появится во вкладке Правила переносов.

Правила переноса являются приватными. Они доступны только тем пользователям, которые их создали.

ML Space и Evolution в разных проектах

Мигрировать данные можно, создав кастомный коннектор к S3-бакету на платформе Evolution и использовав правила переноса данных для миграции, или с помощью сторонних инструментов, например Rclone.

Шаг 1. Получите реквизиты доступа к к Object Storage

Эти данные понадобятся, когда будете заполнять Секретные данные коннектора. Для заполнения получите реквизиты доступа:

Шаг 2. Выполните миграцию

  1. Создайте кастомный коннектор к S3-бакету в Evolution.

    1. Перейдите в раздел Data Catalog → Data Transfer Service → Коннекторы.

    2. Нажмите Создать коннектор.

    3. Выберите источник — Custom S3.

    4. Введите Название коннектора.

    5. Укажите Общие данные коннектора:

      • S3 endpoint

      • Название S3 бакета

    6. Укажите Секретные данные коннектора, полученные на шаге 1.

    7. Нажмите Создать.

    После создания коннектор отобразится в таблице коннекторов.

  2. Создайте правило переноса.

    1. Перейдите в Data Catalog → Data transfer service → Правила переносов.

    2. Нажмите Создать правило. Откроется окно конфигурации правила переноса.

    3. Укажите Название и, если необходимо, Описание правила переноса.

    4. Выберите необходимое хранилище S3 ML Space.

    5. Укажите место назначения переноса — коннектор, созданный в шаге 1.

    6. В поле Способ переноса выберите предпочтительный вариант:

      • Добавлять все к существующим данным.

      • Добавлять только новые записи.

      • Полная синхронизация.

    7. В параметрах запуска укажите время запуска и периодичность.

    8. Нажмите Создать правило.

    После сохранения правило появится во вкладке Правила переносов и файлы будут перенесены по заданным параметрам.

    Правила переноса являются приватными. Они доступны только тем пользователям, которые их создали.

Запустили Evolution free tier
для Dev & Test
Получить