Создать правило переноса

Правило переноса позволяет быстро переместить большие группы объектов внутри S3 или отправить данные в горячее хранилище NFS перед непосредственно запуском задач.

Для создания правила переноса:

  1. Перейдите в Data Catalog → Data transfer service → Правила переносов.

  2. Нажмите Создать правило. Откроется окно конфигурации правила переноса.

  3. Укажите Название и, если необходимо, Описание правила переноса.

  4. Выберите источник переноса.

    1. Укажите коннектор для подключения к источнику данных (см. Создать коннектор). Если вы переносите данные с NFS, выберите регион.

    2. Укажите Путь к папке или файлу, которые требуется перенести.

  5. Укажите место назначения переноса.

    1. Укажите коннектор для подключения к месту переноса данных (см. Создать коннектор). Если вы переносите данные на NFS, выберите регион.

    2. Укажите Путь к папке или файлу, куда требуется осуществить перенос.

  6. В поле Способ переноса выберите предпочтительный вариант:

    • Добавлять все к существующим данным.

    • Добавлять только новые записи.

    • Полная синхронизация.

      Этот вариант доступен только для переносов:

      • с S3 на NFS;

      • с S3 на S3;

      • с NFS на S3;

      • с NFS на NFS.

    Примечание

    Работа способа переноса «Полная синхронизация» незначительно отличается для разных схем логирования.

  7. В параметрах запуска укажите время запуска и периодичность.

  8. Нажмите Создать правило.

После сохранения правило появится во вкладке Правила переносов.

Правила переноса являются приватными. Они доступны только тем пользователям, которые их создали.

Ограничения по количеству переносимых файлов

Внимание

Если количество файлов для одного переноса превышает 400 000, перенос не выполнится.

400 000 — это допустимая сумма файлов в источнике и месте назначения при выборе следующих способов переноса:

  • Добавить только новые записи (в пайплайнах соответствует такому значению параметра strategy, как append_new);

  • Полная синхронизация (в пайплайнах соответствует такому значению параметра strategy, как sync_all).

Например, если при запуске переноса Добавить только новые записи (append_new) в источнике находится 250 000 файлов, а в месте назначения — 150 000 файлов, то лимит файлов будет превышен и перенос не выполнится.

Перенести файлы сверх лимита

Если переносимых файлов больше 400 000, используйте один из способов ниже.

  • Разложите файлы в источниках по разным директориям и перенесите каждую директорию по отдельности.

  • Создайте архив переносимых файлов и перенесите только архив.

См.также

Операции над правилами переноса данных

Запустили Evolution free tier
для Dev & Test
Получить