Evolution
Тема интерфейса

Что нового

История изменений сервиса Managed Spark.

2025

Июнь

Интеграция с Data Platform

Сервис интегрирован с Data Platform. Это позволяет создавать инстансы внутри кластера Data Platform в одной VPC-сети и c необходимыми сервисными аккаунтами.

Интеграция с Аудит логами

Добавлена интеграция с сервисом Аудит-логирование.

Апрель

Автомасштабирование

При создании инстанса стала доступна настройка автоматического масштабирования воркеров. Инстанс задействует дополнительные воркеры до установленного значения, если задача требует больше ресурсов.

Сервисный дашборд Managed Spark

В сервисе «Мониторинг» стали доступны дашборды:

  • Managed Spark Задачи

  • Managed Spark Инстансы

Март

Улучшена интеграция с Object Storage

Теперь для работы с бакетом Object Storage не нужно создавать SNAT-шлюз.

SNAT необходим только для работы с внешним бакетом и внешними источниками.

2024

Декабрь

Внешний S3

Добавлена возможность запуска задач Spark из бакета S3 внешнего провайдера.

Интеграция с Object Storage и Artifact Registry

Добавлена возможность использовать Object Storage и Artifact Registry.

Подержка форматов данных Iceberg и Delta Lake

Добавлена возможность использовать форматы данных Iceberg и Delta Lake.

Логирование

В личном кабинете в сервисе «Мониторинг» стали доступны логи Managed Spark.

Уведомления в личном кабинете

В личном кабинете пользователь теперь получает уведомления в колокольчик о действиях с инстансами и задачами.

Spark UI

Стал доступен нативный интерфейс Spark UI для запущенных и выполненных задач Spark.

Сервис в Preview

Сервис доступен для бесплатного тестирования всем зарегистрированным пользователям.