- tocdepth
2
Data transfer service
Data transfer service позволяет мигрировать данные вручную или автоматически, согласно заданным правилам и расписанию.
Data transfer service позволяет переносить данные:
между разными S3-бакетами в рамках одного или разных воркспейсов.
между системными хранилищами платформы ML Space — S3 и NFS, в том числе для разных регионов платформы ML Space.
из внешних S3-хранилищ и баз данных в Data Catalog ML Space.
Для переноса данных достаточно подключить коннектор к источнику данных, определить место назначения, настроить правила и периодичность переноса. Коннектор доступен для всех воркспейсов.
Правила переносов и История переносов данных отображаются на соответствующих вкладках и доступны для конкретных воркспейсов.
Коннекторы
С помощью сервиса коннекторов возможно подключаться к локальным и внешним источникам данных. Подключение предполагает указание параметров доступа к конкретному источнику данных. Набор параметров подключения варьируется в зависимости от типа источника.
Типы коннекторов
- Системные
S3 ML Space
NFS ML Space
S3 Evolution
- Внешние
К файловым системам на протоколе S3: Amazon S3, Google Cloud Storage S3, Custom S3 (для бакетов Cloud.ru и S3-хранилищ пользователей).
- К базам данных
PostgreSQL (версии серверной части от 7.4 до 14, клиентской — от 9.1).
MySQL (версии 8.0, 5.7, 5.6, 5.5).
MS SQL (версии 2005 или выше).
Oracle DB (Возможно использовать cx_Oracle с Oracle 11.2, 12, 18, 19 и 21 версиями библиотек).
ClickHouse (версии кроме 20.1.*).
Примечание
Для стабильной работы с ClickHouse рекомендуем задать значение параметра
readonly: 2в вашей базе данных или, если необходимо использовать значениеreadonly: 1, добавитьchangeable_in_readonly. Подробнее — в документации ClickHouse.
При создании правила переноса источник и место назначения выбирается из списка коннекторов.
На вкладке Коннекторы можно создавать подключения (коннекторы) к источникам данных, а также управлять существующими подключениями (редактировать, удалять, обновлять, фильтровать, заносить в избранное).
Параметры подключения к внешним S3
В разделе приведены ссылки на документацию разработчика, в которой описаны параметры, требуемые для подключения к S3.
Источник |
Параметры подключения |
|---|---|
S3-хранилища Amazon, Google Сloud, Custom S3 |
|
История переносов данных
В сервисе История переносов отображаются все переносы, построенные на основе правил переноса и коннекторов, а также между хранилищами ML Space S3 / NFS, S3 / S3 и NFS / NFS.
Переносы можно отфильтровать по выбранному правилу переноса или коннектору.
После запуска правила переноса в сервисе История переносов появляется прогресс переноса.
Логи истории переносов доступны в меню 
, в разделе Логи .
для Dev & Test