Как построить управляемый Data Lakehouse за неделю на Evolution Data Platform

Чтобы работать с данными, сначала нужно настроить инфраструктуру: кластеры, хранилища, метаданные, контроль качества и мониторинг. На это уходит время, поэтому запуск аналитических решений затягивается, а команды тратят ресурсы на поддержку платформы вместо углубленной работы с данными.

На вебинаре покажем, как собрать управляемую архитектуру Data Lakehouse в Evolution Data Platform с помощью управляемых сервисов — от загрузки сырых данных до готовых аналитических витрин.

Что вы узнаете:

• как построить Lakehouse-архитектуру с единым слоем хранения в S3 и использовать Apache Iceberg для ACID-гарантий и версионирования;
• как организовать централизованное управление метаданными и схемами с помощью Evolution Managed Metastore;
• какие возможности Evolution Managed Spark помогают контролировать качество данных (профилирование, проверка полноты, валидация бизнес-правил и карантин для проблемных записей);
• зачем и как разделять сырые, очищенные и курированные данные по уровням доверия;
• как использовать Time Travel для отката ошибочных загрузок и анализа изменений данных;
• какие возможности Evolution Managed Trino позволяют настроить единый SQL-слой и разграничить доступ к данным;
• как организовать ETL/ELT-пайплайны, отслеживать зависимости, контролировать SLA и настраивать алерты в Evolution Managed Airflow;
• какие возможности Evolution Managed BI помогают визуализировать метрики качества данных и статусы обработки.

Практическая часть:

• Покажем базовую Lakehouse-архитектуру на готовом стенде;
• Подключим источники и настроим слои хранения;
• Настроим пайплайн валидации в Evolution Managed Spark с проверкой полноты, корректности форматов и бизнес-правил;
• Организуем маршрутизацию некорректных записей в карантин без остановки пайплайна;
• Настроим разграничение доступа к разным слоям данных через Evolution Managed Trino;
• Добавим мониторинг качества данных, алерты и контроль зависимостей в Evolution Managed Airflow;
• Соберём дашборд статуса загрузок, свежести данных и качества обработки в Evolution Managed BI.

Вебинар будет полезен архитекторам данных, дата-инженерам, аналитикам и руководителям аналитических команд, а также ИТ-директорам и специалистам по управлению данными.

Присоединяйтесь, чтобы на практике увидеть, как собрать управляемый Data Lakehouse и ускорить запуск аналитических решений.