Автоматическое масштабирование — динамическое увеличение или уменьшение количества воркеров в инстансе Spark. Масштабирование зависит от текущей нагрузки и потребности в вычислительных ресурсах.
Вы можете настроить автоматическое масштабирование при создании инстанса: исходное количество воркеров (минимальное) и максимальное.
Ограничения и особенности
Максимальное количество воркеров на один инстанс — 10.
Для некоторых вычислительных ресурсов автомасштабирование недоступно. Это происходит в том случае, когда в конфигурации доступно только определенное количество воркеров. Чтобы использовать автомасштабирование, в поле Вычислительные ресурсы выберите конфигурацию с пометкой «Автомасштабирование».
Примеры
Пользователь создал инстанс со следующими настройками:
-
Минимальное количество воркеров — 1.
-
Максимальное количество воркеров — 8.
Пользователь запустил:
-
Задачу, для которой одного воркера достаточно — масштабирование не происходит.
-
Задачу, для которой одного воркера недостаточно — происходит масштабирование до нужного значения (от 2 до 8 воркеров).
После завершения задачи инстанс вернулся к исходному количеству воркеров.
- Ограничения и особенности
- Примеры