История изменений сервиса Managed Spark.
- Spark Connect
Добавлен сервис Spark Connect для удаленного подключения и работы с инстансами Spark в интерактивном режиме. Использование Spark Connect позволяет запускать задачи Managed Spark непосредственно из вашего окружения.
- Сервисные дашборды Managed Spark
На дашборд Managed Spark Инстансы добавлены виджеты со статистикой задач. Они позволяют следить за количеством задач с различными статусами, оценивать загрузку инстанса и оптимизировать вычислительные ресурсы.
- Сервис в General Availability
Сервис в общем доступе и тарифицируется согласно тарифам.
- Графические процессоры (GPU)
Теперь при создании инстанса можно добавить графические процессоры (GPU). Они ускоряют обработку данных для задач машинного обучения, компьютерного зрения, работы с большими данными и др.
- Интеграция с Data Platform
Сервис интегрирован с Data Platform. Это позволяет создавать инстансы внутри кластера Data Platform в одной
и c необходимыми сервисными аккаунтами.- Интеграция с Аудит логами
Добавлена интеграция с сервисом Аудит-логирование.
- Автомасштабирование
При создании инстанса стала доступна настройка автоматического масштабирования воркеров. Инстанс задействует дополнительные воркеры до установленного значения, если задача требует больше ресурсов.
- Сервисный дашборд Managed Spark
В сервисе «Мониторинг» стали доступны дашборды:
Managed Spark Задачи
Managed Spark Инстансы
- Улучшена интеграция с Object Storage
Теперь для работы с бакетом Object Storage не нужно создавать SNAT-шлюз.
SNAT необходим только для работы с внешним бакетом и внешними источниками.
- Внешний S3
Добавлена возможность запуска задач Spark из бакета S3 внешнего провайдера.
- Интеграция с Object Storage и Artifact Registry
Добавлена возможность использовать Object Storage и Artifact Registry.
- Подержка форматов данных Iceberg и Delta Lake
Добавлена возможность использовать форматы данных Iceberg и Delta Lake.
- Логирование
В личном кабинете в сервисе «Мониторинг» стали доступны логи Managed Spark.
- Уведомления в личном кабинете
В личном кабинете пользователь теперь получает уведомления в колокольчик о действиях с инстансами и задачами.
- Spark UI
Стал доступен нативный интерфейс Spark UI для запущенных и выполненных задач Spark.
- Сервис в Preview
Сервис доступен для бесплатного тестирования всем зарегистрированным пользователям.