Spark Connect для ИТ-команд: упрощаем разработку и работу с данными

Многие компании уже используют Apache Spark для обработки и трансформации данных, но часто только в привычных сценариях.

Spark остаётся инструментом исключительно для Spark‑разработчиков: сложный стек и высокий порог входа мешают вовлекать в работу другие команды. В результате потенциал платформы используется лишь частично.

Что будет на вебинаре

Покажем, как с помощью Spark Connect и сервиса Evolution Managed Spark сделать взаимодействие со Spark удобным для разных ролей. Разберем подходы к интерактивной разработке, анализу данных и построению ETL.

Программа

• Интерактивная разработка со Spark через локальную IDE и Spark Connect;
• Анализ и визуализация данных в Jupyter Notebooks;
• Построение ETL‑процессов в dbt на чистом SQL;
• Сценарии использования Spark для разработчиков, аналитиков и специалистов Data Lakehouse;
• Возможности Evolution Managed Spark для интерактивной работы с данными.

Практическая часть

Продемонстрируем три сценария интерактивной работы с Apache Spark:

• Разработчики подключаются к Spark из локальной IDE;
• Аналитики работают с данными и визуализациями в Jupyter Notebooks;
• Специалисты Data Lakehouse строят ETL‑процессы в dbt на чистом SQL.

Кому будет полезен вебинар

• Дата‑инженерам и специалистам по данным, которые строят ETL‑процессы;
• Аналитикам данных, которым нужны надежные и быстрые данные для анализа;
• Руководителям дата‑отделов и ИТ‑директорам, желающим оптимизировать затраты и ускорить time‑to‑insight.