Cloud.ru добавил новые сервисы для работы с данными в Evolution Data Platform
Cloud.ru расширил возможности Evolution Data Platform, добавив новые инструменты для работы с данными в облаке. Сервис Evolution Managed Airflow для оркестрации рабочих процессов перешел в коммерческую эксплуатацию, а Evolution Managed Flink для распределенной обработки потоковых и пакетных данных стал доступен в режиме публичного тестирования. Оба решения интегрированы с другими компонентами платформы и работают в едином контуре.
Evolution Managed Airflow построен на основе открытого ПО Apache Airflow. Сервис помогает в управлении ETL-процессами (Extract Transform Load, извлечение, преобразование и загрузка данных для аналитики): пользователю достаточно определить параметры и последовательность выполнения задач, сервис автоматически организует их выполнение. Managed Airflow подходит не только для ETL-процессов, но и для автоматизации других задач. Например, генерации и отправки отчетов, управления инфраструктурой, проведения ML-экспериментов.
Также для пользователей Cloud.ru стал доступен Evolution Managed Flink — управляемый PaaS-сервис на базе Apache Flink для обработки потоковых и пакетных данных в реальном времени. Он позволяет реагировать на события сразу после их появления — например, обрабатывать поток данных из Kafka и в этот же момент обновлять дашборды, оповещения и витрины данных. Это делает его пригодным для мониторинга инцидентов, аналитики поведения пользователей, финансовой аналитики для предотвращения мошенничества и оценки маркетинговых кампаний для корректировки стратегии.
Новые сервисы встроены в экосистему Evolution Data Platform. Такой подход позволяет реализовывать сквозные сценарии работы с данными: например, данные могут поступать в платформу через Managed Flink, обрабатываться и обогащаться в Managed Spark, храниться в Managed ArenadataDB, а затем использоваться для аналитики и визуализации в Managed BI. Единые механизмы мониторинга, контроля доступа, управления метаданными и ресурсами в облаке позволяют командам сосредоточиться на работе с данными, а не на сопровождении инфраструктуры.
Мы последовательно развиваем Evolution Data Platform как единую платформу, которая покрывает весь цикл работ с данными. В результате пользователи получают не набор разрозненных инструментов, а готовую экосистему для хранения, обработки и анализа данных в одном контуре. Это снижает затраты на интеграцию решений и упрощает управление инфраструктурой. Также платформа открывает новые сценарии работы с ИИ. Например, данные из корпоративных систем могут использоваться для обучения моделей, создания интеллектуальных помощников и ИИ-агентов, которые помогают искать информацию, анализировать документы и получать ответы на вопросы на естественном языке.