Как построить управляемый data lakehouse за неделю на Evolution Data Platform

Компании тратят месяцы на построение архитектуры хранения данных: развёртывают кластеры, настраивают слои хранения, интегрируют метаданные и контроль качества. Из-за этого запуск data-driven решений затягивается, информация быстро теряет актуальность, а команды вместо аналитики занимаются поддержкой платформы.

На практическом вебинаре покажем, как за неделю с нуля построить архитектуру data lakehouse на Evolution Data Platform — от загрузки сырых данных до курированных витрин — с помощью управляемых сервисов, без эксплуатационной нагрузки и с фокусом на бизнес-результат.

В программе:

• принципы построения lakehouse-архитектуры с единым слоем хранения в S3 в формате Apache Iceberg с поддержкой ACID-гарантий и версионирования;
• подходы к централизованному управлению метаданными и происхождением данных через Managed Metastore;
• способы реализации контроля качества данных в Managed Spark без остановки пайплайнов;
• методы организации хранения данных с разным уровнем доверия: партиционирование по качеству, time travel и разделение слоёв хранения;
• принципы настройки единого SQL-слоя через Managed Trino с разграничением доступа;
• инструменты автоматизации оркестрации и мониторинга пайплайнов в Managed Airflow;
• возможности визуализации качества и происхождения данных в Managed BI.

В практической части вебинара:

• за 15 минут развернём базовую lakehouse-архитектуру;
• настроим в Managed Spark пайплайн валидации данных;
• реализуем разграничение доступа через Managed Trino;
• настроим оркестрацию и мониторинг качества данных в Managed Airflow;
• создадим в Managed BI дашборд качества данных;
• покажем, как отслеживать происхождение данных (lineage) в Managed BI через интеграцию с Managed Metastore.

Вебинар будет полезен архитекторам данных, дата-инженерам, руководителям аналитики и data-направлений, а также ИТ-директорам и специалистам по управлению данными, которым важно ускорить запуск решений и обеспечить качество и прозрачность данных.

Присоединяйтесь, чтобы за 5 рабочих дней перейти от концепции lakehouse к рабочей архитектуре с фокусом на данных, которым доверяет бизнес.