Data transfer service
Data transfer service позволяет мигрировать данные вручную или автоматически, согласно заданным правилам и расписанию.
Data transfer service позволяет переносить данные:
между внешними S3 и системным NFS-хранилищем платформы ML Space NFS, в том числе для разных регионов платформы ML Space.
из внешних S3-хранилищ и баз данных в Data Catalog ML Space.
Для переноса данных достаточно подключить коннектор к источнику данных, определить место назначения, настроить правила и периодичность переноса. Коннектор доступен для всех воркспейсов.
Правила переносов и История переносов данных отображаются на соответствующих вкладках и доступны для конкретных воркспейсов.
Коннекторы
С помощью сервиса коннекторов возможно подключаться к локальным и внешним источникам данных. Подключение предполагает указание параметров доступа к конкретному источнику данных. Набор параметров подключения варьируется в зависимости от типа источника.
Типы коннекторов
- Системные
NFS ML Space
S3 Evolution
- Внешние
- К базам данных
PostgreSQL (версии серверной части от 7.4 до 14, клиентской — от 9.1).
MySQL (версии 8.0, 5.7, 5.6, 5.5).
MS SQL (версии 2005 или выше).
Oracle DB (Возможно использовать cx_Oracle с Oracle 11.2, 12, 18, 19 и 21 версиями библиотек).
ClickHouse (версии кроме 20.1.*).
К файловым системам на протоколе S3: Amazon S3, Google Cloud Storage S3, Custom S3 (для бакетов Cloud.ru и S3-хранилищ пользователей).
Для стабильной работы с ClickHouse рекомендуем задать значение параметра readonly: 2 в вашей базе данных или, если необходимо использовать значение readonly: 1, добавить changeable_in_readonly. Подробнее — в документации ClickHouse.
При создании правила переноса источник и место назначения выбирается из списка коннекторов.
На вкладке Коннекторы можно создавать подключения (коннекторы) к источникам данных, а также управлять существующими подключениями (редактировать, удалять, обновлять, фильтровать, заносить в избранное).
Параметры подключения к внешним S3
В разделе приведены ссылки на документацию разработчика, в которой описаны параметры, требуемые для подключения к S3.
История переносов данных
В сервисе История переносов отображаются все переносы, построенные на основе правил переноса и коннекторов, а также между хранилищем ML Space и внешними.
Переносы можно отфильтровать по выбранному правилу переноса или коннектору.
После запуска правила переноса в сервисе История переносов появляется прогресс переноса.
Логи истории переносов доступны в меню 
, в разделе Логи .
- Коннекторы
- Параметры подключения к внешним S3
- История переносов данных