Evolution Managed Spark и обработка миллиардов записей

Узнайте, как обрабатывать большие массивы данных в несколько кликов с помощью сервиса Evolution Managed Spark. На вебинаре менеджер продукта Data Platform Cloud.ru Алексей Лицов расскажет и покажет, как работать с сервисом.

В программе встречи:
• что полезного можно делать на Data Platform Cloud.ru;
• как с помощью Evolution Managed Spark обрабатывать большие объемы данных;
• как сервисы Evolution Managed Trino и Evolution Managed Metastore работают вместе с Evolution Managed Spark и упрощают работу;
• каким образом визуализировать обработанные данные с помощью системы Evolution BI.

В итоге вы научитесь создавать кластер Evolution Managed Spark, а также запускать с его помощью задачи, находить логи и сохранять данные в три слоя в Evolution Object Storage. Еще узнаете, как интегрировать Spark с Trino и Metastore, чтобы построить дашборд с использованием системы Evolution BI.

Вебинар будет интересен дата-инженерам и аналитикам данных, а также всем, кто интересуется архитектурой распределенных систем и хочет узнать больше о работе с большими данными.

Тайм-коды:
• 00:09 – Введение
• 04:19 – Что будем делать
• 07:46 – Подготовка
• 12:57 – Написание кода
• 21:37 – Подбор кластера
• 22:51 – Применение Evolution Managed Spark
• 32:42 – Подключение Evolution Managed Metastore и Evolution Managed Trino
• 39:44 – Визуализация
• 44:14 – Ответы на вопросы