DataArts Migration: Эффективное поглощение нескольких разнородных источников данных
DataArts Migration может помочь вам бесшовно мигрировать пакетные данные между более чем 30 однородными или разнородными источниками данных. Вы можете использовать его для поглощения данных как из локальных, так и из облачных источников, включая файловые системы, реляционные базы данных, хранилища данных, NoSQL‑базы данных, сервисы больших данных и объектное хранилище.
DataArts Migration использует распределённый вычислительный фреймворк и техники параллельной обработки, чтобы помочь вам мигрировать корпоративные данные пакетами без простоя и быстро создавать требуемые структуры данных.
Рисунок 1 DataArts Migration
Вы можете управлять данными на странице управления задачами на основе мастера. Вы можете легко создавать задачи миграции данных, соответствующие вашим требованиям. DataArts Migration предоставляет следующие функции:
- Миграция таблиц/файлов/полной БД
Вы можете мигрировать таблицы или файлы пакетами, а также мигрировать всю базу данных между однородными и разнородными системами баз данных. В одну задачу можно включить сотни таблиц.
- Инкрементальная миграция данных
Вы можете мигрировать файлы, реляционные базы данных и HBase инкрементно. Инкрементную миграцию данных можно выполнять, используя WHERE clauses и переменные даты и времени.
- Миграция в транзакционном режиме
Если задача пакетной миграции данных не удаётся выполнить, данные откатываются к состоянию до начала задачи, а данные в целевой таблице автоматически удаляются.
- Преобразование полей
Преобразование полей включает анонимизацию, операции со строковыми данными и операции с датами.
- Шифрование файлов
Вы можете шифровать файлы, мигрируемые в облачную файловую систему пакетами.
- Проверка MD5
MD5 используется для проверки целостности файлов от начала до конца.
- Архивирование грязных данных
Данные, которые не удалось обработать во время миграции, отфильтровываются и не соответствуют правилам преобразования или очистки, записываются в журналы грязных данных. Вы можете легко анализировать аномальные данные. Вы также можете установить пороговое значение отношения грязных данных, чтобы определить, выполнена ли задача успешно.
DataArts Architecture: визуализированное, автоматизированное и интеллектуальное моделирование данных
DataArts Architecture включает методы управления данными. Вы можете использовать его для визуализации операций управления данными, соединения данных из разных уровней, формирования стандартов данных и создания активов данных. Вы можете стандартизировать свои данные с помощью ER‑моделирования и измерительного моделирования. DataArts Architecture является хорошим вариантом для единой построения платформ метрик. С DataArts Architecture вы можете создавать стандартные системы метрик, устраняя неоднозначность данных и облегчая взаимодействие между различными отделами. Помимо унификации логики вычислений, вы можете использовать его для запросов данных и исследования ценности данных по предметам.
Рисунок 2 DataArts Architecture
DataArts Architecture предлагает следующие основные функции:
- Проектирование предметов
Вы можете использовать DataArts Architecture для построения единой системы классификации данных для управления данными на основе каталогов. Классификация данных, поиск, оценка и использование стали проще, чем когда-либо. DataArts Architecture предоставляет иерархические архитектуры, которые помогают определять и классифицировать активы данных, позволяя потребителям данных лучше понимать и доверять вашим активам данных.
- Стандарты данных
DataArts Architecture может помочь вам создать процессные и систематические стандарты данных, соответствующие вашим потребностям. Согласованные с национальными и отраслевыми стандартами, эти стандарты позволяют стандартизировать данные предприятия и повышать качество данных, обеспечивая их доверие и пригодность.
- Моделирование данных
Моделирование данных включает построение единой системы моделей данных. Вы можете использовать DataArts Architecture для создания многоуровневой системы данных корпоративного класса на основе спецификаций и моделей данных. Система интегрирует данные из публичного уровня и библиотек предметов, значительно сокращая избыточность, изоляцию, несогласованность и неоднозначность данных. Это обеспечивает более свободный поток данных, лучшую совместную работу с данными и ускоряет инновации.
Поддерживаются следующие методы моделирования данных:
- ER-моделирование
ER-моделирование подразумевает описание бизнес‑деятельности предприятия, а ER‑модели соответствуют третьей нормальной форме (3NF). Вы можете использовать ER‑модели для интеграции данных, которая объединяет и классифицирует данные из разных систем по сходству или предмету. Однако использовать ER‑модели для принятия решений нельзя.
- Размерное моделирование
Размерное моделирование включает построение матриц шины для извлечения бизнес‑фактов и измерений при создании модели. Необходимо уточнить бизнес‑требования для построения метрических систем и создания сводных моделей.
- Data mart
Data mart (DM) агрегирует данные из нескольких уровней и состоит из конкретного объекта анализа и связанных с ним метрик. DM предоставляет все статистические данные по предмету.
- ER-моделирование
DataArts Factory: комплексная совместная разработка
DataArts Factory предоставляет интуитивный UI и встроенные методы разработки скриптов и джобов. DataArts Factory также поддерживает полностью управляемое планирование джобов, O&M и мониторинг, а также включает отраслевые конвейеры обработки данных. Вы можете создать джобы разработки данных за несколько шагов, весь процесс визуален. Онлайн‑джобы могут совместно разрабатываться несколькими пользователями. С помощью DataArts Factory можно управлять облачными сервисами больших данных и быстро построить центр обработки больших данных.
Рисунок 3архитектура DataArts Factory
DataArts Factory позволяет управлять данными, разрабатывать скрипты, а также планировать и мониторить джобы. Анализ и обработка данных стали проще, чем когда-либо.
- Управление данными
- Вы можете управлять несколькими типами хранилищ данных, такими как GaussDB (DWS), DLI и MRS Hive.
- Вы можете использовать графический интерфейс и язык определения данных (DDL) для управления таблицами баз данных.
- Разработка скриптов
- Предоставляет онлайн-редактор скриптов, позволяющий более чем одному оператору совместно разрабатывать и отлаживать скрипты SQL, Python и Shell в режиме онлайн.
- Вы можете использовать Variables.
- Job development
- DataArts Factory предоставляет графический конструктор, позволяющий быстро разрабатывать рабочие процессы с помощью drag-and-drop и создавать конвейеры обработки данных.
- DataArts Factory предустановлен с несколькими типами задач, такими как data integration, SQL и Shell. Данные обрабатываются и анализируются на основе зависимостей задач.
- Вы можете импортировать и экспортировать jobs.
- Resource management
Вы можете централизованно управлять ресурсами file, jar и archive, используемыми при разработке скриптов и jobs.
- Job scheduling
- Вы можете планировать запуск jobs однократно или рекурсивно и использовать события для триггера планируемых jobs.
- Job scheduling поддерживает разнообразные гибридные задачи оркестрации. Высокопроизводительный планировочный движок протестирован сотнями приложений.
- O&M and monitoring
- Вы можете запускать, приостанавливать, восстанавливать или завершать job.
- Вы можете просматривать детали выполнения каждого job и каждого узла в job.
- Вы можете использовать различные методы для получения уведомлений при возникновении ошибки job или task.
DataArts Quality: проверяемое и управляемое качество данных
DataArts Quality может мониторить качество ваших данных и своевременно отсеивать неквалифицированные данные.
- Мониторинг качества данных
Вы можете создавать правила качества данных, чтобы проверять точность данных в ваших базах данных в режиме реального времени.
Квалифицированные данные должны соответствовать следующим требованиям: целостность, валидность, своевременность, согласованность, точность и уникальность. Вы можете стандартизировать данные и периодически мониторить данные по столбцам, строкам и таблицам на основе правил качества.
Figure 4 Система правил качества данных
DataArts Catalog: сквозная визуализация активов данных
С помощью корпоративного управления метаданными вы можете определять свои активы данных бизнес-терминами, знакомыми потребителям данных. Поддерживаются также детальный анализ данных и отслеживание источников. Карта данных отображает происхождение данных и глобальный обзор ваших активов данных. Поиск данных, операции и мониторинг стали более интеллектуальными, чем ранее.
- Управление метаданными
Управление метаданными имеет решающее значение для управления озером данных. Вы можете создавать политики для сбора метаданных из вашего озера данных, настраивать модели метаданных для пакетного импорта метаданных, связывать бизнес-данные с техническими данными, управлять и использовать полносвязные линии происхождения данных.
Figure 5 Полносвязные линии происхождения данных
- Карта данных
Карты данных упрощают поиск, анализ, разработку, добычу и операции с данными. Они предоставляют информацию о происхождении и анализ воздействия. Карты данных делают поиск данных проще и быстрее, чем ранее.
- Поддерживаются поиск по ключевым словам и нечеткий поиск, что помогает быстро находить необходимые данные.
- Вы можете искать таблицы по имени. Сведения о таблице отображаются сразу после нахождения соответствующей таблицы. Вы также можете добавить дополнительные описания для найденной таблицы.
- Карта данных отображает источник, назначение и логику обработки поля таблицы.
- Вы можете классифицировать и назначать теги активам данных по мере необходимости.
DataArts DataService: Повышенная эффективность доступа, запросов и поиска
DataArts DataService позволяет централизованно управлять корпоративными API и контролировать доступ к вашим субъектам, профилям и метрикам. Это помогает улучшить опыт потребителей данных и эффективность монетизации активов данных. Вы можете использовать DataArts DataService для создания API и регистрации этих API в DataArts DataService для единого управления и публикации.
DataArts DataService использует безсерверную архитектуру. Вам необходимо сосредоточиться только на логике запросов API, не беспокоясь об инфраструктуре, такой как среда выполнения. DataArts DataService поддерживает эластичное масштабирование вычислительных ресурсов, что значительно снижает затраты на O&M.
Рисунок 6 архитектура DataArts DataService
DataArts Security: Всесторонняя защита
- Кибербезопасность
Изоляция Тенанта и контроль прав доступа реализованы для защиты конфиденциальности и безопасности данных систем и пользователей на основе предустановленных правил изоляции сети, security group и security hardening.
- Контроль прав доступа пользователя
Контроль доступа на основе ролей, включающий связывание ролей с правами, и поддерживающий детализированные политики прав для удовлетворения различных требований авторизации. DataArts Studio предоставляет четыре роли: admin, developer, deployer, operator и viewer. Каждая роль имеет разные права.
- Безопасность данных
DataArts Studio предоставляет механизм проверки ключевых процессов.
Данные управляются по уровням и категориям на протяжении всего жизненного цикла, обеспечивая соответствие требованиям конфиденциальности данных и прослеживаемость.