Data transfer service

Data transfer service позволяет осуществлять:

Обмен данными между разными S3-бакетами в рамках одного или разных воркспейсов.
Обмен данными между системными хранилищами платформы ML Space — S3 и NFS.
Обмен данными между системными хранилищами разных регионов платформы ML Space.
Перенос данных из внешних баз данных и файловых систем в Data catalog ML Space.

Миграция данных реализована в рамках сервиса Data transfer service. Она осуществляется в ручном или автоматическом режиме по заданным правилам и с определенной периодичностью. Для переноса данных достаточно подключить коннектор к источнику данных, определить место назначения, настроить правила и периодичность переноса. Коннектор доступен для всех созданных Воркспейсы. Правила переносов и История переносов данных отображаются на соответствующих вкладках и доступны для конкретных Воркспейсы.

Коннекторы

С помощью сервиса возможно подключаться к различным локальным и внешним источникам данных. Подключение предполагает указание параметров доступа к конкретному источнику данных. Набор параметров подключения варьируется в зависимости от типа источника.

Типы коннекторов

Типы коннекторов 

Системные

S3 ML Space (для переносов S3/S3), NFS ML Space (для переносов S3/NFS и NFS/NFS).

Внешние

К файловым системам

На протоколе S3: Amazon S3, Google Cloud Storage S3, Custom S3 (для бакетов Cloud.ru и S3-хранилищ пользователей).
HDFS (Hadoop Distributed File System) — файловая система, предназначенная для хранения файлов больших размеров, поблочно распределенных между узлами вычислительного кластера.

Важно

Сервис поддерживает только Hadoop RPC Protocol версии 9.

К базам данных

PostgreSQL (версии серверной части от 7.4 до 14, клиентской — от 9.1).
MySQL (версии 8.0, 5.7, 5.6, 5.5).
MS SQL (версии 2005 или выше).
Oracle DB (Возможно использовать cx_Oracle с Oracle 11.2, 12, 18, 19 и 21 версиями библиотек).
ClickHouse (версии кроме 20.1.*).

Важно

Для стабильной работы с ClickHouse рекомендуем задать значение параметра readonly: 2 в вашей базе данных или, если необходимо использовать значение readonly: 1, добавить changeable_in_readonly. Подробнее — в документации ClickHouse.

При создании правила переноса источник и место назначения выбирается из списка коннекторов.

На вкладке Коннекторы можно создавать подключения (коннекторы) к источникам данных, а также управлять существующими подключениями (редактировать, удалять, обновлять, фильтровать, заносить в избранное).

Параметры подключения к внешним S3

В разделе приведены ссылки на документацию разработчика, в которой описаны параметры, требуемые для подключения к S3.

Источник	Параметры подключения
S3-хранилища Amazon, Google Сloud, Custom S3	S3 endpoint Amazon S3 Google S3 Имя S3 bucket Amazon S3 Google S3 Access key ID Amazon S3 Google S3 Security key Amazon S3 Google S3

История переносов данных

В Истории переносов отображаются все переносы, построенные на основе Правил переносов и Коннекторов. Переносы можно отфильтровать по выбранному Правилу переноса или Коннектору. История переносов также отражает переносы между хранилищами ML Space S3 / NFS, S3 / S3 и NFS / NFS.

После запуска правила переноса в Истории переносов появляется прогресс переноса.

При желании можно просмотреть логи истории переносов. Для этого перейдите в меню Кнопка с тремя вертикальными точками и выберите Логи. В случае ошибки лог истории переносов позволяет отследить файл, при переносе которого произошла ошибка.

Возможно отфильтровать для отображения только те записи, которые соответствуют заданным условиям. Для добавления фильтра по типу нажмите Кнопка Воронка . Затем — Добавить фильтр. Отфильтруйте данные.

Пользователь может удалить запись в истории переносов, для этого:

Выберите запись, которую необходимо удалить, отметив ее чекбоксом.
Нажмите на иконку в соответствующей строке списка.
В появившемся диалоговом окне подтвердите действие нажатием на Подтвердить.