Data transfer service
Data transfer service позволяет осуществлять:
Обмен данными между разными S3-бакетами в рамках одного или разных воркспейсов.
Обмен данными между системными хранилищами платформы ML Space — S3 и NFS.
Обмен данными между системными хранилищами разных регионов платформы ML Space.
Перенос данных из внешних баз данных и файловых систем в Data catalog ML Space.
Миграция данных реализована в рамках сервиса Data transfer service. Она осуществляется в ручном или автоматическом режиме по заданным правилам и с определенной периодичностью. Для переноса данных достаточно подключить коннектор к источнику данных, определить место назначения, настроить правила и периодичность переноса. Коннектор доступен для всех созданных Воркспейсы. Правила переносов и История переносов данных отображаются на соответствующих вкладках и доступны для конкретных Воркспейсы.
Коннекторы
С помощью сервиса возможно подключаться к различным локальным и внешним источникам данных. Подключение предполагает указание параметров доступа к конкретному источнику данных. Набор параметров подключения варьируется в зависимости от типа источника.
Типы коннекторов
- Системные
S3 ML Space (для переносов S3/S3), NFS ML Space (для переносов S3/NFS и NFS/NFS).
- Внешние
- К файловым системам
На протоколе S3: Amazon S3, Google Cloud Storage S3, Custom S3 (для бакетов Cloud.ru и S3-хранилищ пользователей).
HDFS (Hadoop Distributed File System) — файловая система, предназначенная для хранения файлов больших размеров, поблочно распределенных между узлами вычислительного кластера.
Важно
Сервис поддерживает только Hadoop RPC Protocol версии 9.
- К базам данных
PostgreSQL (версии серверной части от 7.4 до 14, клиентской — от 9.1).
MySQL (версии 8.0, 5.7, 5.6, 5.5).
MS SQL (версии 2005 или выше).
Oracle DB (Возможно использовать cx_Oracle с Oracle 11.2, 12, 18, 19 и 21 версиями библиотек).
ClickHouse (версии кроме 20.1.*).
Важно
Для стабильной работы с ClickHouse рекомендуем задать значение параметра
readonly: 2
в вашей базе данных или, если необходимо использовать значениеreadonly: 1
, добавитьchangeable_in_readonly
. Подробнее — в документации ClickHouse.
При создании правила переноса источник и место назначения выбирается из списка коннекторов.
На вкладке Коннекторы можно создавать подключения (коннекторы) к источникам данных, а также управлять существующими подключениями (редактировать, удалять, обновлять, фильтровать, заносить в избранное).
Параметры подключения к внешним S3
В разделе приведены ссылки на документацию разработчика, в которой описаны параметры, требуемые для подключения к S3.
Источник |
Параметры подключения |
---|---|
S3-хранилища Amazon, Google Сloud, Custom S3 |
|
История переносов данных
В Истории переносов отображаются все переносы, построенные на основе Правил переносов и Коннекторов. Переносы можно отфильтровать по выбранному Правилу переноса или Коннектору. История переносов также отражает переносы между хранилищами ML Space S3 / NFS, S3 / S3 и NFS / NFS.
После запуска правила переноса в Истории переносов появляется прогресс переноса.

При желании можно просмотреть логи истории переносов.
Для этого перейдите в меню и выберите .
В случае ошибки лог истории переносов позволяет отследить файл, при переносе которого произошла ошибка.
Возможно отфильтровать для отображения только те записи, которые соответствуют заданным условиям.
Для добавления фильтра по типу нажмите .
Затем — Добавить фильтр.
Отфильтруйте данные.
Пользователь может удалить запись в истории переносов, для этого:
Выберите запись, которую необходимо удалить, отметив ее чекбоксом.
Нажмите на иконку
в соответствующей строке списка.
В появившемся диалоговом окне подтвердите действие нажатием на Подтвердить.