Правила переноса данных

Перейдите в Data Catalog → Data transfer service → Правила переносов.

Создать правило переноса

Для создания правила переноса нажмите Создать правило. Откроется окно конфигурации правила переноса.

  1. В поле Название укажите название переноса и его описание, которые будут отображаться в таблице правил.

    • (Опционально) Укажите Описание переноса.

  2. Выберите коннектор источника переноса.

    • Укажите коннектор для подключения к источнику данных (см. Создать коннектор), задайте путь к источнику (это может быть путь на S3, NFS или SQL-запрос) и укажите воркспейс, откуда требуется осуществить перенос.

    • Если вы переносите данные с NFS, выберите регион.

    • Укажите Путь к папке или файлу, которые требуется перенести.

  3. Выберите коннектор места назначения переноса.

    • Укажите коннектор для подключения к месту переноса данных (см. Создать коннектор), задайте путь к месту назначения данных (это может быть путь на S3, NFS или SQL-запрос) и укажите воркспейс, куда требуется осуществить перенос.

    • Если вы переносите данные на NFS, выберите регион.

    • Укажите Путь к папке или файлу, куда требуется осуществить перенос.

  4. В поле Вариант переноса выберите предпочтительный вариант:

    • Добавлять все к существующим данным.

    • Добавлять только новые записи.

    • Полная синхронизация. Укажите время и периодичность выполнения переноса. Такой вариант переноса доступен только для переносов S3 → NFS, S3 → HDFS, S3 → S3, NFS → S3, NFS → NFS, HDFS → NFS.

  5. Укажите вариант запуска и периодичность.

  6. Нажмите Создать правило.

После сохранения правило появится в таблице переносов.

Правила переноса являются приватными. Они доступны только тем пользователям, которые их создали.

Операции над правилами

Чтобы выполнить операции над правилом переноса, перейдите в меню Кнопка с тремя вертикальными точками:

  • Выберите команду Редактировать правило для изменения параметров правила переноса данных. Отредактировать правило можно, если была выбрана синхронизация с периодичностью.

  • Выберите команду Создать новую версию для повторения правила с минимальными правками.

  • Выберите Логи для просмотра логов переноса. В логе показаны все переносы, совершенные в рамках этого правила. Если в правиле есть ошибки, вы увидите их в логах.

    Важно

    Логи становятся доступными после завершения переноса.

  • Выберите Удалить, если переносов из указанного источника больше не потребуется.

Кликнув по правилу переноса, можно посмотреть всю историю миграции данных между источником и местом назначения в рамках этого правила.

Пользователь может запустить действие, нажав на Кнопка возобновления для правил переноса и истории переноса. Для остановки действия нажмите Кнопка Stop. Действие будет остановлено.

Возможно отфильтровать для отображения только те записи, которые соответствуют заданным условиям. Для добавления фильтра по типу нажмите Кнопка Воронка. Затем — Добавить фильтр. Отфильтруйте данные.

Записи в разделе можно добавлять в избранное. Для добавления в избранное нажмите Кнопка Избранное напротив требуемой строки.

Удалить правило

  1. Выберите запись, которую необходимо удалить, отметив ее чекбоксом.

  2. Нажмите на иконку Кнопка удаления в соответствующей строке списка.

  3. В появившемся диалоговом окне подтвердите действие нажатием на Подтвердить.