В инструкции описано, как вручную перевести существующий кластер Managed Kubernetes со стандартного kube-proxy на eBPF в Cilium или Calico.
После миграции CNI-плагин обрабатывает трафик сервисов Kubernetes вместо kube-proxy.
Во время миграции возможны перебои в работе сети:
Cilium начинает обрабатывать трафик сервисов до удаления kube-proxy, перебои минимальны.
При установленном Calico сервисы на узле недоступны, пока calico-node на этом узле не перезапустится в режиме eBPF. Существующие сетевые соединения будут разорваны.
Выполняйте миграцию в период наименьшей нагрузки.
Убедитесь, что версия kubectl — 1.27 или выше.
Обновите группы узлов кластера.
Обновление групп узлов необходимо для установки последних версий системных компонентов. Допускается обновление без изменения версии Kubernetes.
Обновите CNI-плагин до последней доступной версии.
Версия должна соответствовать требованиям:
Cilium — минимальная версия 1.14. С этой версии поддерживается kubeProxyReplacement: "true".
Calico — поддержка eBPF доступна с версии 3.28. В более старых версиях calico-node не получает адрес API-сервера Kubernetes, из-за чего режим eBPF работать не будет.
Чтобы при необходимости откатить изменения, сохраните пользовательскую конфигурацию CNI-плагина:
В личном кабинете перейдите в кластер Managed Kubernetes.
Перейдите в раздел Плагины.
Справа от названия CNI-плагина нажмите и выберите Обновить.
Выберите YAML.
В редакторе скопируйте пользовательскую конфигурацию и сохраните ее.
Закройте окно без изменений.
Чтобы избежать пересоздания узлов, которые во время миграции могут временно перейти в статус «NotReady», для групп узлов отключите автоматическое восстановление:
В личном кабинете перейдите в кластер Managed Kubernetes.
Перейдите в раздел Группы узлов.
Справа от группы узлов нажмите и выберите Редактировать.
На шаге «Настройки» выключите опцию Автовосстановление.
Нажмите Сохранить.
При использовании Istio или Kata Containers учитывайте особенности настройки Cilium в режиме kube-proxy replacement:
Порядок действий зависит от установленного CNI-плагина: Cilium или Calico.
Включите eBPF вместо kube-proxy в Cilium:
В кластере перейдите в раздел Плагины.
Справа от названия плагина Cilium нажмите и выберите Обновить.
Выберите YAML и добавьте к пользовательской конфигурации параметры:
kubeProxyReplacement: "true"cni:chainingMode: "none"bpf:masquerade: truesocketLB:enabled: true
Параметры k8sServiceHost и k8sServicePort для адреса Kubernetes API задаются автоматически.
Нажмите Обновить и дождитесь окончания обновления плагина.
Чтобы применить новую конфигурацию Cilium и проверить статус перезапуска, последовательно выполните команды:
kubectl -n kube-system rollout restart daemonset/cilium deployment/cilium-operatorkubectl -n kube-system rollout status daemonset/cilium --timeout=10m
Убедитесь, что eBPF включен на всех узлах:
for pod in $(kubectl -n kube-system get pods -l k8s-app=cilium -o name); doecho "$pod: $(kubectl -n kube-system exec "$pod" -c cilium-agent -- cilium-dbg status | grep KubeProxyReplacement)"done
В Cilium версии 1.14 в команде вместо cilium-dbg используйте cilium.
Для каждого пода должно быть указано KubeProxyReplacement: True. Не продолжайте, если хотя бы для одного пода указано значение False.
Удалите плагин kube-proxy:
В кластере перейдите в раздел Плагины.
Справа от названия плагина kube-proxy нажмите и выберите Удалить.
Подтвердите действие и дождитесь удаления плагина.
Убедитесь, что Calico подключается к Kubernetes API напрямую, а не через kube-proxy:
kubectl -n tigera-operator get configmap kubernetes-services-endpoint -o jsonpath='{.data}{"\n"}'kubectl -n calico-system exec daemonset/calico-node -c calico-node -- printenv KUBERNETES_SERVICE_HOST
Обе команды должны вывести внутренний IP-адрес кластера. Чтобы посмотреть или скопировать внутренний IP-адрес, в личном кабинете перейдите в кластер, а затем в раздел Информация → Сетевые параметры.
В кластере для Calico версии 3.28 и выше автоматически создается ConfigMap kubernetes-services-endpoint. Если ConfigMap kubernetes-services-endpoint отсутствует, обновите Calico. Не создавайте ConfigMap вручную.
Убедитесь, что все компоненты Calico работают:
kubectl get tigerastatus
Для всех компонентов в столбце AVAILABLE должно быть указано True.
Удалите плагин kube-proxy:
В кластере перейдите в раздел Плагины.
Справа от названия плагина kube-proxy нажмите и выберите Удалить.
Подтвердите действие и дождитесь удаления плагина.
Сразу перейдите к следующему шагу. Пока eBPF не включен, сервисы в кластере недоступны.
Включите eBPF в Calico:
В кластере перейдите в раздел Плагины.
Справа от названия плагина Calico нажмите и выберите Обновить.
Выберите YAML и добавьте к пользовательской конфигурации параметры:
installation:calicoNetwork:linuxDataplane: BPFdefaultFelixConfiguration:enabled: truebpfConnectTimeLoadBalancing: Disabled
Не удаляйте другие параметры. Параметр bpfConnectTimeLoadBalancing: Disabled обязателен — CTLB несовместим с сетью кластера.
Не изменяйте ресурсы Installation и FelixConfiguration через kubectl. Плагин перезапишет эти изменения при следующем обновлении.
Нажмите Обновить и дождитесь окончания обновления плагина.
Дождитесь перезапуска Calico на всех узлах:
kubectl -n calico-system rollout status daemonset/calico-node --timeout=10mkubectl get tigerastatus
Для всех компонентов в столбце AVAILABLE должно быть указано True.
Убедитесь, что eBPF включен:
kubectl get installation default -o jsonpath='{.spec.calicoNetwork.linuxDataplane}{"\n"}'kubectl get felixconfiguration default -o jsonpath='{.spec.bpfEnabled}{"\n"}'
Команды должны вывести BPF и true.
В режиме eBPF Calico удаляет правила kube-proxy на узлах автоматически. Этот шаг для Calico выполняйте, только если проверка работы кластера покажет, что правила kube-proxy остались.
После удаления kube-proxy с CNI Cilium на узлах остаются его правила iptables. Чтобы удалить их, запустите временный DaemonSet.
DaemonSet удаляет только правила и цепочки, в названии которых есть KUBE. Правила CNI-плагина и другие правила узла не изменяются.
Создайте файл kube-proxy-cleanup.yaml со следующим содержимым:
apiVersion: apps/v1kind: DaemonSetmetadata:name: kube-proxy-cleanupnamespace: kube-systemlabels:app: kube-proxy-cleanupspec:selector:matchLabels:app: kube-proxy-cleanuptemplate:metadata:labels:app: kube-proxy-cleanupspec:hostNetwork: truepriorityClassName: system-node-criticaltolerations:- operator: ExistsinitContainers:- name: cleanupimage: emk8s.cr.cloud.ru/busybox:1.36.1securityContext:privileged: truecommand: ["chroot", "/host", "/bin/sh", "-c"]args:- |found=0for backend in legacy nft; dofor tool in iptables ip6tables; docommand -v "$tool-$backend-save" >/dev/null 2>&1 || continuefound=1rules=$("$tool-$backend-save" 2>/dev/null) || continueecho "$rules" | grep -q KUBE || continueecho "$rules" | grep -v KUBE | "$tool-$backend-restore" && echo "$tool-$backend: removed KUBE rules"donedoneif [ "$found" = 0 ]; thenfor tool in iptables ip6tables; dorules=$("$tool-save" 2>/dev/null) || continueecho "$rules" | grep -q KUBE || continueecho "$rules" | grep -v KUBE | "$tool-restore" && echo "$tool: removed KUBE rules"donefiip link delete kube-ipvs0 2>/dev/null && echo "removed kube-ipvs0"echo "Done."volumeMounts:- name: host-rootmountPath: /hostcontainers:- name: pauseimage: emk8s.cr.cloud.ru/pause:3.6resources:limits:cpu: 10mmemory: 20Mirequests:cpu: 10mmemory: 20Mivolumes:- name: host-roothostPath:path: /
Примените DaemonSet и дождитесь, пока он запустится на всех узлах:
kubectl apply -f kube-proxy-cleanup.yamlkubectl -n kube-system rollout status daemonset/kube-proxy-cleanup --timeout=5m
Убедитесь, что DaemonSet запущен на всех узлах и очистка завершена:
kubectl get nodes --no-headers | wc -lkubectl -n kube-system get daemonset kube-proxy-cleanupkubectl -n kube-system logs -l app=kube-proxy-cleanup -c cleanup --prefix
Количество узлов должно совпадать со значением в столбце READY. Для каждого пода в логах должна быть строка Done.
Удалите DaemonSet:
kubectl -n kube-system delete daemonset kube-proxy-cleanup
Удаление DaemonSet обязательно. Он работает с правами администратора узла и запускает очистку на каждом новом узле и при каждом перезапуске пода.
Убедитесь, что все поды работают:
kubectl get pods -A --field-selector=status.phase!=Running,status.phase!=Succeeded
Команда не должна вывести ни одного пода.
Убедитесь, что новые поды запускаются, а DNS и сервисы типа ClusterIP доступны:
kubectl run net-check --image=emk8s.cr.cloud.ru/curlimages/curl:8.11.1 --restart=Never --rm -it -- \-sk -o /dev/null -w '%{http_code}\n' https://kubernetes.default.svc/version
Команда должна вывести код 200, 401 или 403. Любой из этих кодов означает, что сервис доступен.
Чтобы убедиться, что на узлах нет правил kube-proxy, выполните команду для одного или нескольких узлов:
Запустите отладочный под на узле и откройте командную оболочку узла:
kubectl debug node/<node_name> -it --profile=sysadmin --image=emk8s.cr.cloud.ru/busybox:1.36.1 -- chroot /host sh
Где <node_name> — название узла из вывода kubectl get nodes .
В командной оболочке узла выполните:
iptables-save | grep -cE 'KUBE-(SERVICES|SVC-|SEP-|NODEPORTS|EXT-)'
Команда должна вывести 0. Цепочки KUBE-KUBELET-CANARY, KUBE-FIREWALL и KUBE-IPTABLES-HINT создает kubelet, так и должно быть.
Закройте командную оболочку:
exit
После проверки удалите отладочные поды:
kubectl get pods -o name | grep node-debugger | xargs kubectl delete
Убедитесь, что сервисы типа LoadBalancer доступны из внешней сети:
curl -sS -o /dev/null -w '%{http_code}\n' http://<external_ip>:<port>
Где <external_ip> и <port> — внешний IP-адрес и порт сервиса из вывода kubectl get svc -A .
Если в кластере используются сетевые политики, убедитесь, что они работают, как до миграции.
Включайте автовосстановление только после успешной проверки кластера.
В личном кабинете перейдите в кластер Managed Kubernetes.
Справа от группы узлов нажмите и выберите Редактировать.
На шаге «Настройки» выключите опцию Автовосстановление.
Нажмите Сохранить.
Если после миграции кластер работает некорректно, верните kube-proxy.
Установите плагин kube-proxy:
В кластере перейдите в раздел Плагины.
Найдите плагин kube-proxy и установите его.
Дождитесь, пока поды kube-proxy запустятся на всех узлах:
kubectl -n kube-system rollout status daemonset/kube-proxy --timeout=10m
Обновите плагин Cilium.
В YAML-конфигурации удалите параметр kubeProxyReplacement или укажите конфигурацию, которую вы сохранили перед началом работы.
Чтобы перезапустить Cilium и проверить статус перезапуска, последовательно выполните команды:
kubectl -n kube-system rollout restart daemonset/cilium deployment/cilium-operatorkubectl -n kube-system rollout status daemonset/cilium --timeout=10m
Обновите плагин Calico. В YAML-конфигурации укажите конфигурацию, которую вы сохранили перед началом работы.
Если сохраненной конфигурации нет, замените значение linuxDataplane: BPF на linuxDataplane: Iptables и удалите параметр bpfConnectTimeLoadBalancing.
Сразу после обновления плагина установите плагин kube-proxy:
В кластере перейдите в раздел Плагины.
Найдите плагин kube-proxy и установите его.
Дождитесь, пока Calico и kube-proxy запустятся на всех узлах:
kubectl -n calico-system rollout status daemonset/calico-node --timeout=10mkubectl -n kube-system rollout status daemonset/kube-proxy --timeout=10mkubectl get tigerastatus
После отката проверьте работу кластера, пропустив третий пункт, и включите автовосстановление.