- tocdepth
2
Data transfer service
Data transfer service позволяет осуществлять:
Обмен данными между разными S3-бакетами в рамках одного или разных воркспейсов.
Обмен данными между системными хранилищами платформы ML Space — S3 и NFS.
Обмен данными между системными хранилищами разных регионов платформы ML Space.
Перенос данных из внешних баз данных и файловых систем в Data Catalog ML Space.
Миграция данных реализована в рамках сервиса Data transfer service. Она осуществляется в ручном или автоматическом режиме по заданным правилам и с определенной периодичностью. Для переноса данных достаточно подключить коннектор к источнику данных, определить место назначения, настроить правила и периодичность переноса. Коннектор доступен для всех созданных Воркспейсы. Правила переносов и История переносов данных отображаются на соответствующих вкладках и доступны для конкретных Воркспейсы.
Коннекторы
С помощью сервиса возможно подключаться к различным локальным и внешним источникам данных. Подключение предполагает указание параметров доступа к конкретному источнику данных. Набор параметров подключения варьируется в зависимости от типа источника.
Типы коннекторов
- Системные
S3 ML Space
NFS ML Space
S3 Evolution
- Внешние
К файловым системам на протоколе S3: Amazon S3, Google Cloud Storage S3, Custom S3 (для бакетов Cloud.ru и S3-хранилищ пользователей).
- К базам данных
PostgreSQL (версии серверной части от 7.4 до 14, клиентской — от 9.1).
MySQL (версии 8.0, 5.7, 5.6, 5.5).
MS SQL (версии 2005 или выше).
Oracle DB (Возможно использовать cx_Oracle с Oracle 11.2, 12, 18, 19 и 21 версиями библиотек).
ClickHouse (версии кроме 20.1.*).
Примечание
Для стабильной работы с ClickHouse рекомендуем задать значение параметра
readonly: 2
в вашей базе данных или, если необходимо использовать значениеreadonly: 1
, добавитьchangeable_in_readonly
. Подробнее — в документации ClickHouse.
При создании правила переноса источник и место назначения выбирается из списка коннекторов.
На вкладке Коннекторы можно создавать подключения (коннекторы) к источникам данных, а также управлять существующими подключениями (редактировать, удалять, обновлять, фильтровать, заносить в избранное).
Параметры подключения к внешним S3
В разделе приведены ссылки на документацию разработчика, в которой описаны параметры, требуемые для подключения к S3.
Источник |
Параметры подключения |
---|---|
S3-хранилища Amazon, Google Сloud, Custom S3 |
|
История переносов данных
В сервисе История переносов отображаются все переносы, построенные на основе правил переноса и коннекторов. Переносы можно отфильтровать по выбранному правилу переноса или коннектору. История переносов также отражает переносы между хранилищами ML Space S3 / NFS, S3 / S3 и NFS / NFS.
После запуска правила переноса в сервисе История переносов появляется прогресс переноса.
Чтобы посмотреть логи истории переносов, перейдите в меню и выберите Логи .
Возможно отфильтровать для отображения только те записи, которые соответствуют заданным условиям. Для добавления фильтра по типу нажмите . Затем — Добавить фильтр. Отфильтруйте данные.
Чтобы удалить запись в истории переносов:
Перейдите в
.Выберите запись, которую необходимо удалить, отметив ее чекбоксом.
Нажмите , затем Подтвердить.
для Dev & Test