srv-img ML Space

Data transfer service

Data transfer service позволяет мигрировать данные вручную или автоматически, согласно заданным правилам и расписанию.

Data transfer service позволяет переносить данные:

  • между внешними S3 и системным NFS-хранилищем платформы ML Space NFS, в том числе для разных регионов платформы ML Space.

  • из внешних S3-хранилищ и баз данных в Data Catalog ML Space.

Для переноса данных достаточно подключить коннектор к источнику данных, определить место назначения, настроить правила и периодичность переноса. Коннектор доступен для всех воркспейсов.

Правила переносов и История переносов данных отображаются на соответствующих вкладках и доступны для конкретных воркспейсов.

Коннекторы

С помощью сервиса коннекторов возможно подключаться к локальным и внешним источникам данных. Подключение предполагает указание параметров доступа к конкретному источнику данных. Набор параметров подключения варьируется в зависимости от типа источника.

Типы коннекторов

Системные

  • NFS ML Space

  • S3 Evolution

Внешние

К файловым системам на протоколе S3: Amazon S3, Google Cloud Storage S3, Custom S3 (для бакетов Cloud.ru и S3-хранилищ пользователей).

К базам данных

  • PostgreSQL (версии серверной части от 7.4 до 14, клиентской — от 9.1).

  • MySQL (версии 8.0, 5.7, 5.6, 5.5).

  • MS SQL (версии 2005 или выше).

  • Oracle DB (Возможно использовать cx_Oracle с Oracle 11.2, 12, 18, 19 и 21 версиями библиотек).

  • ClickHouse (версии кроме 20.1.*).

Примечание

Для стабильной работы с ClickHouse рекомендуем задать значение параметра readonly: 2 в вашей базе данных или, если необходимо использовать значение readonly: 1, добавить changeable_in_readonly. Подробнее — в документации ClickHouse.

При создании правила переноса источник и место назначения выбирается из списка коннекторов.

На вкладке Коннекторы можно создавать подключения (коннекторы) к источникам данных, а также управлять существующими подключениями (редактировать, удалять, обновлять, фильтровать, заносить в избранное).

Параметры подключения к внешним S3

В разделе приведены ссылки на документацию разработчика, в которой описаны параметры, требуемые для подключения к S3.

Источник

Параметры подключения

S3-хранилища Amazon, Google Сloud, Custom S3

История переносов данных

В сервисе История переносов отображаются все переносы, построенные на основе правил переноса и коннекторов, а также между хранилищем ML Space и внешними.

Переносы можно отфильтровать по выбранному правилу переноса или коннектору.

После запуска правила переноса в сервисе История переносов появляется прогресс переноса.

../_images/s__progr-bar.ru.png

Логи истории переносов доступны в меню Кнопка с тремя вертикальными точками, в разделе Логи .

Была ли статья полезной ?
Предыдущая статья
Управление данными на платформе ML Space
Следующая статья
Environments
/ DOCS
ML Space