По мере того как приложения всё чаще работают на Kubernetes, возможность быстро масштабировать наружу в пиковые периоды и масштабировать внутрь в непиковые часы становится критически важной для эффективного управления ресурсами и снижения затрат.
Auto scaling широко используется в CCE. Типичные сценарии применения приведены ниже:
- Online service scaling: Pods и nodes автоматически масштабируются наружу в пиковые часы (например, в праздничные дни и во время акций) для обработки увеличенного количества запросов пользователей и масштабируются внутрь в непиковые часы для снижения затрат.
- Large-scale computing training: Количество pods и nodes динамически регулируется в соответствии с требованиями вычислительных задач для ускорения выполнения.
- Deep learning GPU training and inference: GPU ресурсы динамически распределяются для оптимизации эффективности задач обучения и инференса. GPU nodes автоматически добавляются или удаляются по мере необходимости для повышения использования ресурсов.
- Scheduled or periodic resource adjustment: Pods и nodes автоматически масштабируются в определённое время для выполнения запланированных задач. Ресурсы динамически регулируются в соответствии с требованиями задач для обеспечения бесперебойного выполнения.
Auto Scaling в CCE
CCE поддерживает auto scaling для рабочих нагрузок и узлов.
- Workload scaling включает корректировку количества или характеристик pods на уровне планирования для адаптации к изменениям требований нагрузки. Например, количество pods может автоматически увеличиваться в пиковые часы для обработки большего количества запросов пользователей, а затем уменьшаться в непиковые часы для снижения затрат.
- Node scaling включает динамическое добавление или уменьшение вычислительных ресурсов (например, ECSs) на уровне ресурсов в зависимости от статуса планирования pods. Такой подход обеспечивает достаточное снабжение кластеров при высокой нагрузке и минимизирует потери при низком спросе.
Компоненты
Типы масштабирования рабочих нагрузок
Тип | Компонент | Описание | Ссылка |
|---|---|---|---|
HPA | HorizontalPodAutoscaler (built-in Kubernetes component) | Встроенный компонент Kubernetes для горизонтального масштабирования pod. CCE включает функции окна времени отката на уровне приложения и порогов масштабирования в Kubernetes HPA. | |
CustomedHPA | Улучшенная функция автоматического масштабирования, используемая для автоматического масштабирования Deployment на основе метрик (использование CPU и памяти) или с периодическим интервалом (конкретный момент времени каждый день, каждую неделю, каждый месяц или каждый год). | ||
CronHPA | CronHPA может масштабировать кластер в сторону увеличения или уменьшения в фиксированное время. Он может работать с политиками HPA для периодической корректировки области масштабирования HPA, реализуя масштабирование нагрузки в сложных сценариях. | ||
VPA | Vertical Pod Autoscaler в Kubernetes. | ||
AHPA | Advanced horizontal pod autoscaling, которая масштабируется заранее на основе исторических данных. |
Figure 1 Масштабирование нагрузки
Типы масштабирования узлов
Название компонента | Описание | Сценарий применения | Ссылка |
|---|---|---|---|
Открытый компонент Kubernetes для горизонтального масштабирования узлов, который оптимизирован CCE в планировании, авто масштабировании и затратах. | Онлайн‑сервисы, глубокое обучение и масштабные вычисления при ограниченных ресурсных бюджетах |