Что нового
История изменений сервиса Managed Spark.
2025
Июнь
- Интеграция с Data Platform
Сервис интегрирован с Data Platform. Это позволяет создавать инстансы внутри кластера Data Platform в одной VPC-сети и c необходимыми сервисными аккаунтами.
- Интеграция с Аудит логами
Добавлена интеграция с сервисом Аудит-логирование.
Апрель
- Автомасштабирование
При создании инстанса стала доступна настройка автоматического масштабирования воркеров. Инстанс задействует дополнительные воркеры до установленного значения, если задача требует больше ресурсов.
- Сервисный дашборд Managed Spark
В сервисе «Мониторинг» стали доступны дашборды:
Managed Spark Задачи
Managed Spark Инстансы
Март
- Улучшена интеграция с Object Storage
Теперь для работы с бакетом Object Storage не нужно создавать SNAT-шлюз.
SNAT необходим только для работы с внешним бакетом и внешними источниками.
2024
Декабрь
- Внешний S3
Добавлена возможность запуска задач Spark из бакета S3 внешнего провайдера.
- Интеграция с Object Storage и Artifact Registry
Добавлена возможность использовать Object Storage и Artifact Registry.
- Подержка форматов данных Iceberg и Delta Lake
Добавлена возможность использовать форматы данных Iceberg и Delta Lake.
- Логирование
В личном кабинете в сервисе «Мониторинг» стали доступны логи Managed Spark.
- Уведомления в личном кабинете
В личном кабинете пользователь теперь получает уведомления в колокольчик о действиях с инстансами и задачами.
- Spark UI
Стал доступен нативный интерфейс Spark UI для запущенных и выполненных задач Spark.
- Сервис в Preview
Сервис доступен для бесплатного тестирования всем зарегистрированным пользователям.
- 2025
- 2024