Создать коннектор

Для создания коннектора:

  1. Перейдите в раздел Data Catalog → Data transfer service → Коннекторы.

  2. Нажмите Создать коннектор.

  3. В диалоге создания нового коннектора укажите:

    • Источник: база данных или файловая система, откуда переносятся данные.

    • Параметры коннектора: параметры доступа подключения (коннектора) к выбранному источнику данных. Параметры варьируются в зависимости от источника, см. таблицу ниже.

Источник

Параметры подключения

MySQL, PostgreSQL, MS SQL, Oracle DB, ClickHouse

  • IP-адрес или DNS-имя хоста

  • Сетевой порт

  • Имя пользователя

  • Пароль

  • База данных

  • Схема (опционально)

S3-хранилища Amazon, Google Сloud, Custom S3 (подробнее Параметры подключения к внешним S3)

  • Endpoint

  • Бакет S3 (имя бакета)

  • Access key ID

  • Security key

HDFS

  • IP-адрес или DNS-имя хоста HDFS

  • Порт

  • Имя пользователя

  • Пароль

  • Namenode principal

  • Kerberos domain

После создания коннектор отображается в таблице коннекторов.

Коннекторы, кроме системных, являются приватными. Доступны только пользователям, которые их создали.

Ограничения по количеству переносимых файлов

Важно

Если количество файлов для одного переноса превышает лимит в 400 000 файлов, перенос не выполнится.

400 000 — это допустимая сумма файлов для источника и места назначения при выборе следующих стратегий переноса:

  • Добавить только новые записи (в пайплайнах соответствует такому значению параметра strategy, как append_new);

  • Полная синхронизация (в пайплайнах соответствует такому значению параметра strategy, как sync_all).

Например, если при запуске переноса Добавить только новые записи (append_new) в источнике 250 000 файлов, а в месте назначения 150 000 файлов, то лимит файлов будет превышен.

Перенести файлы сверх лимита

Если переносимых файлов больше 400 000, используйте один из способов ниже.

  • Разложите файлы в источниках по разным директориям и перенесите каждую директорию по отдельности.

  • Создайте архив переносимых файлов и перенесите только архив.