Облачная платформаEvolution

Мигрировать с kube-proxy на eBPF

Эта статья полезна?

В инструкции описано, как вручную перевести существующий кластер Managed Kubernetes со стандартного kube-proxy на eBPF в Cilium или Calico.

После миграции CNI-плагин обрабатывает трафик сервисов Kubernetes вместо kube-proxy.

Во время миграции возможны перебои в работе сети:

  • Cilium начинает обрабатывать трафик сервисов до удаления kube-proxy, перебои минимальны.

  • При установленном Calico сервисы на узле недоступны, пока calico-node на этом узле не перезапустится в режиме eBPF. Существующие сетевые соединения будут разорваны.

Выполняйте миграцию в период наименьшей нагрузки.

Перед началом работы

  1. Подключитесь к кластеру Managed Kubernetes.

  2. Убедитесь, что версия kubectl — 1.27 или выше.

  3. Обновите группы узлов кластера.

    Обновление групп узлов необходимо для установки последних версий системных компонентов. Допускается обновление без изменения версии Kubernetes.

  4. Обновите CNI-плагин до последней доступной версии.

    Версия должна соответствовать требованиям:

    • Cilium — минимальная версия 1.14. С этой версии поддерживается kubeProxyReplacement: "true".

    • Calico — поддержка eBPF доступна с версии 3.28. В более старых версиях calico-node не получает адрес API-сервера Kubernetes, из-за чего режим eBPF работать не будет.

  5. Чтобы при необходимости откатить изменения, сохраните пользовательскую конфигурацию CNI-плагина:

    1. В личном кабинете перейдите в кластер Managed Kubernetes.

    2. Перейдите в раздел Плагины.

    3. Справа от названия CNI-плагина нажмите Горизонтальное меню и выберите Обновить.

    4. Выберите YAML.

    5. В редакторе скопируйте пользовательскую конфигурацию и сохраните ее.

    6. Закройте окно без изменений.

  6. Чтобы избежать пересоздания узлов, которые во время миграции могут временно перейти в статус «NotReady», для групп узлов отключите автоматическое восстановление:

    1. В личном кабинете перейдите в кластер Managed Kubernetes.

    2. Перейдите в раздел Группы узлов.

    3. Справа от группы узлов нажмите Горизонтальное меню и выберите Редактировать.

    4. На шаге «Настройки» выключите опцию Автовосстановление.

    5. Нажмите Сохранить.

При использовании Istio или Kata Containers учитывайте особенности настройки Cilium в режиме kube-proxy replacement:

1. Выполните миграцию

Порядок действий зависит от установленного CNI-плагина: Cilium или Calico.

Cilium

  1. Включите eBPF вместо kube-proxy в Cilium:

    1. В кластере перейдите в раздел Плагины.

    2. Справа от названия плагина Cilium нажмите Горизонтальное меню и выберите Обновить.

    3. Выберите YAML и добавьте к пользовательской конфигурации параметры:

      kubeProxyReplacement: "true"
      cni:
      chainingMode: "none"
      bpf:
      masquerade: true
      socketLB:
      enabled: true

      Параметры k8sServiceHost и k8sServicePort для адреса Kubernetes API задаются автоматически.

    4. Нажмите Обновить и дождитесь окончания обновления плагина.

  2. Чтобы применить новую конфигурацию Cilium и проверить статус перезапуска, последовательно выполните команды:

    kubectl -n kube-system rollout restart daemonset/cilium deployment/cilium-operator
    kubectl -n kube-system rollout status daemonset/cilium --timeout=10m
  3. Убедитесь, что eBPF включен на всех узлах:

    for pod in $(kubectl -n kube-system get pods -l k8s-app=cilium -o name); do
    echo "$pod: $(kubectl -n kube-system exec "$pod" -c cilium-agent -- cilium-dbg status | grep KubeProxyReplacement)"
    done

    В Cilium версии 1.14 в команде вместо cilium-dbg используйте cilium.

    Для каждого пода должно быть указано KubeProxyReplacement: True. Не продолжайте, если хотя бы для одного пода указано значение False.

  4. Удалите плагин kube-proxy:

    1. В кластере перейдите в раздел Плагины.

    2. Справа от названия плагина kube-proxy нажмите Горизонтальное меню и выберите Удалить.

    3. Подтвердите действие и дождитесь удаления плагина.

Calico

  1. Убедитесь, что Calico подключается к Kubernetes API напрямую, а не через kube-proxy:

    kubectl -n tigera-operator get configmap kubernetes-services-endpoint -o jsonpath='{.data}{"\n"}'
    kubectl -n calico-system exec daemonset/calico-node -c calico-node -- printenv KUBERNETES_SERVICE_HOST

    Обе команды должны вывести внутренний IP-адрес кластера. Чтобы посмотреть или скопировать внутренний IP-адрес, в личном кабинете перейдите в кластер, а затем в раздел Информация → Сетевые параметры.

    Внимание

    В кластере для Calico версии 3.28 и выше автоматически создается ConfigMap kubernetes-services-endpoint. Если ConfigMap kubernetes-services-endpoint отсутствует, обновите Calico. Не создавайте ConfigMap вручную.

  2. Убедитесь, что все компоненты Calico работают:

    kubectl get tigerastatus

    Для всех компонентов в столбце AVAILABLE должно быть указано True.

  3. Удалите плагин kube-proxy:

    1. В кластере перейдите в раздел Плагины.

    2. Справа от названия плагина kube-proxy нажмите Горизонтальное меню и выберите Удалить.

    3. Подтвердите действие и дождитесь удаления плагина.

    Сразу перейдите к следующему шагу. Пока eBPF не включен, сервисы в кластере недоступны.

  4. Включите eBPF в Calico:

    1. В кластере перейдите в раздел Плагины.

    2. Справа от названия плагина Calico нажмите Горизонтальное меню и выберите Обновить.

    3. Выберите YAML и добавьте к пользовательской конфигурации параметры:

      installation:
      calicoNetwork:
      linuxDataplane: BPF
      defaultFelixConfiguration:
      enabled: true
      bpfConnectTimeLoadBalancing: Disabled

      Не удаляйте другие параметры. Параметр bpfConnectTimeLoadBalancing: Disabled обязателен — CTLB несовместим с сетью кластера.

      Не изменяйте ресурсы Installation и FelixConfiguration через kubectl. Плагин перезапишет эти изменения при следующем обновлении.

  5. Нажмите Обновить и дождитесь окончания обновления плагина.

  6. Дождитесь перезапуска Calico на всех узлах:

    kubectl -n calico-system rollout status daemonset/calico-node --timeout=10m
    kubectl get tigerastatus

    Для всех компонентов в столбце AVAILABLE должно быть указано True.

  7. Убедитесь, что eBPF включен:

    kubectl get installation default -o jsonpath='{.spec.calicoNetwork.linuxDataplane}{"\n"}'
    kubectl get felixconfiguration default -o jsonpath='{.spec.bpfEnabled}{"\n"}'

    Команды должны вывести BPF и true.

2. Удалите правила kube-proxy на узлах

В режиме eBPF Calico удаляет правила kube-proxy на узлах автоматически. Этот шаг для Calico выполняйте, только если проверка работы кластера покажет, что правила kube-proxy остались.

После удаления kube-proxy с CNI Cilium на узлах остаются его правила iptables. Чтобы удалить их, запустите временный DaemonSet.

DaemonSet удаляет только правила и цепочки, в названии которых есть KUBE. Правила CNI-плагина и другие правила узла не изменяются.

  1. Создайте файл kube-proxy-cleanup.yaml со следующим содержимым:

    apiVersion: apps/v1
    kind: DaemonSet
    metadata:
    name: kube-proxy-cleanup
    namespace: kube-system
    labels:
    app: kube-proxy-cleanup
    spec:
    selector:
    matchLabels:
    app: kube-proxy-cleanup
    template:
    metadata:
    labels:
    app: kube-proxy-cleanup
    spec:
    hostNetwork: true
    priorityClassName: system-node-critical
    tolerations:
    - operator: Exists
    initContainers:
    - name: cleanup
    image: emk8s.cr.cloud.ru/busybox:1.36.1
    securityContext:
    privileged: true
    command: ["chroot", "/host", "/bin/sh", "-c"]
    args:
    - |
    found=0
    for backend in legacy nft; do
    for tool in iptables ip6tables; do
    command -v "$tool-$backend-save" >/dev/null 2>&1 || continue
    found=1
    rules=$("$tool-$backend-save" 2>/dev/null) || continue
    echo "$rules" | grep -q KUBE || continue
    echo "$rules" | grep -v KUBE | "$tool-$backend-restore" && echo "$tool-$backend: removed KUBE rules"
    done
    done
    if [ "$found" = 0 ]; then
    for tool in iptables ip6tables; do
    rules=$("$tool-save" 2>/dev/null) || continue
    echo "$rules" | grep -q KUBE || continue
    echo "$rules" | grep -v KUBE | "$tool-restore" && echo "$tool: removed KUBE rules"
    done
    fi
    ip link delete kube-ipvs0 2>/dev/null && echo "removed kube-ipvs0"
    echo "Done."
    volumeMounts:
    - name: host-root
    mountPath: /host
    containers:
    - name: pause
    image: emk8s.cr.cloud.ru/pause:3.6
    resources:
    limits:
    cpu: 10m
    memory: 20Mi
    requests:
    cpu: 10m
    memory: 20Mi
    volumes:
    - name: host-root
    hostPath:
    path: /
  2. Примените DaemonSet и дождитесь, пока он запустится на всех узлах:

    kubectl apply -f kube-proxy-cleanup.yaml
    kubectl -n kube-system rollout status daemonset/kube-proxy-cleanup --timeout=5m
  3. Убедитесь, что DaemonSet запущен на всех узлах и очистка завершена:

    kubectl get nodes --no-headers | wc -l
    kubectl -n kube-system get daemonset kube-proxy-cleanup
    kubectl -n kube-system logs -l app=kube-proxy-cleanup -c cleanup --prefix

    Количество узлов должно совпадать со значением в столбце READY. Для каждого пода в логах должна быть строка Done.

  4. Удалите DaemonSet:

    kubectl -n kube-system delete daemonset kube-proxy-cleanup

    Удаление DaemonSet обязательно. Он работает с правами администратора узла и запускает очистку на каждом новом узле и при каждом перезапуске пода.

3. Проверьте работу кластера

  1. Убедитесь, что все поды работают:

    kubectl get pods -A --field-selector=status.phase!=Running,status.phase!=Succeeded

    Команда не должна вывести ни одного пода.

  2. Убедитесь, что новые поды запускаются, а DNS и сервисы типа ClusterIP доступны:

    kubectl run net-check --image=emk8s.cr.cloud.ru/curlimages/curl:8.11.1 --restart=Never --rm -it -- \
    -sk -o /dev/null -w '%{http_code}\n' https://kubernetes.default.svc/version

    Команда должна вывести код 200, 401 или 403. Любой из этих кодов означает, что сервис доступен.

  3. Чтобы убедиться, что на узлах нет правил kube-proxy, выполните команду для одного или нескольких узлов:

    1. Запустите отладочный под на узле и откройте командную оболочку узла:

      kubectl debug node/<node_name> -it --profile=sysadmin --image=emk8s.cr.cloud.ru/busybox:1.36.1 -- chroot /host sh

      Где <node_name> — название узла из вывода kubectl get nodes .

    2. В командной оболочке узла выполните:

      iptables-save | grep -cE 'KUBE-(SERVICES|SVC-|SEP-|NODEPORTS|EXT-)'

      Команда должна вывести 0. Цепочки KUBE-KUBELET-CANARY, KUBE-FIREWALL и KUBE-IPTABLES-HINT создает kubelet, так и должно быть.

    3. Закройте командную оболочку:

      exit
    4. После проверки удалите отладочные поды:

      kubectl get pods -o name | grep node-debugger | xargs kubectl delete
  4. Убедитесь, что сервисы типа LoadBalancer доступны из внешней сети:

    curl -sS -o /dev/null -w '%{http_code}\n' http://<external_ip>:<port>

    Где <external_ip> и <port> — внешний IP-адрес и порт сервиса из вывода kubectl get svc -A .

  5. Если в кластере используются сетевые политики, убедитесь, что они работают, как до миграции.

4. Включите автоматическое восстановление

Включайте автовосстановление только после успешной проверки кластера.

  1. В личном кабинете перейдите в кластер Managed Kubernetes.

  2. Справа от группы узлов нажмите Горизонтальное меню и выберите Редактировать.

  3. На шаге «Настройки» выключите опцию Автовосстановление.

  4. Нажмите Сохранить.

Откат изменений

Если после миграции кластер работает некорректно, верните kube-proxy.

Cilium

  1. Установите плагин kube-proxy:

    1. В кластере перейдите в раздел Плагины.

    2. Найдите плагин kube-proxy и установите его.

    3. Дождитесь, пока поды kube-proxy запустятся на всех узлах:

    kubectl -n kube-system rollout status daemonset/kube-proxy --timeout=10m
  2. Обновите плагин Cilium.

    В YAML-конфигурации удалите параметр kubeProxyReplacement или укажите конфигурацию, которую вы сохранили перед началом работы.

  3. Чтобы перезапустить Cilium и проверить статус перезапуска, последовательно выполните команды:

    kubectl -n kube-system rollout restart daemonset/cilium deployment/cilium-operator
    kubectl -n kube-system rollout status daemonset/cilium --timeout=10m

Calico

  1. Обновите плагин Calico. В YAML-конфигурации укажите конфигурацию, которую вы сохранили перед началом работы.

    Если сохраненной конфигурации нет, замените значение linuxDataplane: BPF на linuxDataplane: Iptables и удалите параметр bpfConnectTimeLoadBalancing.

  2. Сразу после обновления плагина установите плагин kube-proxy:

    1. В кластере перейдите в раздел Плагины.

    2. Найдите плагин kube-proxy и установите его.

  3. Дождитесь, пока Calico и kube-proxy запустятся на всех узлах:

    kubectl -n calico-system rollout status daemonset/calico-node --timeout=10m
    kubectl -n kube-system rollout status daemonset/kube-proxy --timeout=10m
    kubectl get tigerastatus

После отката проверьте работу кластера, пропустив третий пункт, и включите автовосстановление.