nav-img
Evolution

Что нового

История изменений сервиса Managed Spark.

2025

Апрель

Автомасштабирование

При создании инстанса стала доступна настройка автоматического масштабирования воркеров. Инстанс задействует дополнительные воркеры до установленного значения, если задача требует больше ресурсов.

Сервисный дашборд Managed Spark

В сервисе «Мониторинг» стали доступны дашборды:

  • Managed Spark Задачи

  • Managed Spark Инстансы

Март

Улучшена интеграция с Object Storage

Теперь для работы с бакетом Object Storage не нужно создавать SNAT-шлюз.

SNAT необходим только для работы с внешним бакетом и внешними источниками.

2024

Декабрь

Внешний S3

Добавлена возможность запуска задач Spark из бакета S3 внешнего провайдера.

Интеграция с Object Storage и Artifact Registry

Добавлена возможность использовать Object Storage и Artifact Registry.

Подержка форматов данных Iceberg и Delta Lake

Добавлена возможность использовать форматы данных Iceberg и Delta Lake.

Логирование

В личном кабинете в сервисе «Мониторинг» стали доступны логи Managed Spark.

Уведомления в личном кабинете

В личном кабинете пользователь теперь получает уведомления в колокольчик о действиях с инстансами и задачами.

Spark UI

Стал доступен нативный интерфейс Spark UI для запущенных и выполненных задач Spark.

Сервис в Preview

Сервис доступен для бесплатного тестирования всем зарегистрированным пользователям.