Автоматическое масштабирование инстанса Spark
Автоматическое масштабирование — динамическое увеличение или уменьшение количества воркеров в инстансе Spark. Масштабирование зависит от текущей нагрузки и потребности в вычислительных ресурсах.
Вы можете настроить автоматическое масштабирование при создании инстанса: исходное количество воркеров (минимальное) и максимальное.
Ограничения и особенности
Максимальное количество воркеров на один инстанс — 4.
Примеры
Пользователь создал инстанс со следующими настройками:
Минимальное количество воркеров — 1.
Максимальное количество воркеров — 4.
Пользователь запустил:
Задачу, для которой одного воркера достаточно — масштабирование не происходит.
Задачу, для которой одного воркера недостаточно — происходит масштабирование до нужного значения (2, 3 или 4 воркера).
После завершения задачи инстанс вернулся к исходному количеству воркеров.