Облачная платформаAdvanced

Что делать, если запуск Pod не удался?

Эта статья полезна?
Язык статьи: Русский
Показать оригинал
Страница переведена автоматически и может содержать неточности. Рекомендуем сверяться с английской версией.

Поиск неисправности

На странице сведений о рабочей нагрузке, если отображается событие, указывающее, что pod не удалось запустить, выполните следующие действия для поиска неисправности:

  1. Войдите в узел, где расположена аномальная рабочая нагрузка.
  2. Проверьте ID контейнера, в котором рабочая нагрузка pod завершается аномально.

    Если узел использует Docker, выполните следующую команду:

    docker ps -a | grep $podName

    Если узел использует containerd, выполните следующую команду:

    crictl ps -a | grep $podName

  3. Просмотрите журналы контейнера.

    Если узел использует Docker, выполните следующую команду:

    docker logs $containerID

    Если узел использует containerd, выполните следующую команду:

    crictl logs $containerID

    Устраните неисправность рабочей нагрузки на основе журналов.

  4. Проверьте журналы ошибок ОС. Например, проверьте, содержат ли журналы ошибки OOM.

    cat /var/log/messages | grep $containerID | grep oom

    Проверьте, был ли вызван системный OOM на основе журналов.

Устранение неполадок

Определите причину на основе журналов или событий, как указано в Table 1.

Table 1 Сбой запуска Pod

Журнал или событие

Возможная причина

Поиск неисправности и решение

Журналы Pod: exit code 0

В pod нет процесса.

Проверьте, может ли pod работать правильно. Для подробностей см. No Process in the Pod (Exit Code: 0).

  • Событие Kubernetes:
    Liveness probe failed: Get http…
  • Журналы Pod: exit code 137

Проверка работоспособности не удалась.

Проверьте, правильно ли настроен liveness probe для pod. Для подробностей см. Health Check Failed (Exit Code: 137).

  • Событие Kubernetes:
    Thin Pool has 15991 free data blocks which is less than minimum required 16383 free data blocks. Create more free space in thin pool or use dm.min_free_space option to change behavior
  • Журналы Pod: no left space

Недостаточно места на диске.

Увеличьте размер диска или удалите ненужные файлы. Для подробностей см. Insufficient Disk Space of the Pod.

Pod logs: oom

Памяти pod недостаточно.

Проверьте, имеет ли pod правильные настройки ресурсов. Для получения подробной информации см. Insufficient Container Resources.

Pod logs: Address already in use

В pod возникает конфликт между портами контейнера.

Проверьте, есть ли конфликт портов контейнера в pod. Для получения подробной информации см. Container Port Conflict in the Pod.

Событие Kubernetes:

Error: failed to start container "filebeat": Error response from daemon: OCI runtime create failed: container_linux.go:330: starting container process caused "process_linux.go:381: container init caused \"setenv: invalid argument\"": unknown

Секрет монтируется в рабочую нагрузку, и значение секрета не зашифровано с использованием Base64.

Для получения подробной информации о решении см. Improper Value of the Secret Mounted to the Workload.

Событие Kubernetes:

the failed container exited with ExitCode: 255

Образ контейнера x86 может работать на узле Arm.

Для получения подробной информации о решении см. Unmatched Container Image Tag with the Node Architecture.

Событие Kubernetes:

the failed container exited with ExitCode: 141

Версия containerd несовместима с версией tail.

Для получения подробной информации о решении см. Exit of tail -f xx in the Container Startup Command (Exit Code: 141).

Other pod logs

Определите неисправность на основе сервисов.

Для получения подробной информации об определении неисправности см. Service Setting Checks.

No Process in the Pod (Exit Code: 0)

  1. Войдите в узел, где находится аномальная рабочая нагрузка.
  2. Просмотрите статус pod.

    Если узел использует Docker, выполните следующую команду:

    docker ps -a | grep $podName

    Если узел использует containerd, выполните следующую команду:

    crictl ps -a | grep $podName

    Ниже приведён пример.

    Если в pod нет процесса, отображается код состояния Exited (0).

Health Check Failed (Exit Code: 137)

Проверки состояния, настроенные для рабочей нагрузки, выполняются для сервисов периодически. Если происходит исключение, будет событие, указывающее на нездоровый pod, и перезапуски pod завершатся неудачей.

Если для рабочей нагрузки настроен liveness probe и количество неудачных проверок состояния превышает порог, pod будет перезапущен. На странице сведений о рабочей нагрузке, если события Kubernetes содержат Liveness probe failed: Get http..., проверка состояния считается неудачной.

Решение

Click the workload name to go to the workload details page, click the Containers tab. Then select Health Check to check whether the policy is proper or whether services are running properly.

Недостаточно места на диске Pod

Следующее сообщение относится к thin pool диску, который выделяется из Docker диска, выбранного при создании узла. Вы можете выполнить команду lvs от пользователя root, чтобы просмотреть текущее использование диска.

Thin Pool has 15991 free data blocks which is less than minimum required 16383 free data blocks. Create more free space in thin pool or use dm.min_free_space option to change behavior

Решения

Решение 1: Очистка образов

Выполните следующие действия для очистки неиспользуемых образов:

  • containerd nodes
    1. Получите локальные образы на узле.
      crictl images -v
    2. Удалите ненужные образы по ID образа.
      crictl rmi {Image ID}
  • Docker nodes
    1. Получите локальные образы на узле.
      docker images
    2. Удалите ненужные образы по ID образа.
      docker rmi {image-ID}
Note

Не удаляйте системные образы, такие как образ cce-pause. В противном случае создание pod может завершиться ошибкой.

Решение 2: Расширение ёмкости диска

Чтобы расширить ёмкость диска, выполните следующие действия:

  1. Увеличьте ёмкость диска с данными в консоли EVS.

    Только емкость хранилища дисков EVS расширяется. Вам необходимо выполнить следующие операции для расширения емкости логических томов и файловых систем.

  2. Войдите в CCE console и нажмите имя кластера, чтобы открыть консоль кластера. В панели навигации выберите Nodes. На правой панели нажмите вкладку Nodes, найдите строку, содержащую узел, и выберите More > Sync Server Data в столбце Operation.
  3. Войдите в узел.
  4. Выполните lsblk, чтобы просмотреть информацию о блочных устройствах узла.

    Диск с данными делится в зависимости от контейнерного хранилища Rootfs:

Недостаточно ресурсов контейнера

Если достигнут верхний предел ресурсов контейнера, OOM будет отображён в деталях события, а также в журнале:

cat /var/log/messages | grep 96feb0a425d6 | grep oom

При создании нагрузки, если запрошенные ресурсы превышают настроенный верхний предел, срабатывает системный OOM, и контейнер завершается неожиданно.

Конфликт портов контейнера в Pod

  1. Войдите в узел, где находится аномальная нагрузка.
  2. Проверьте ID контейнера, в котором pod нагрузки завершается аномально.

    Если узел использует Docker, выполните следующую команду:

    docker ps -a | grep $podName

    Если узел использует containerd, выполните следующую команду:

    crictl ps -a | grep $podName

  3. Просмотрите журналы контейнера.

    Если узел использует Docker, выполните следующую команду:

    docker logs $containerID

    Если узел использует containerd, выполните следующую команду:

    crictl logs $containerID

    Устраните ошибку рабочей нагрузки на основе журналов. Как показано на следующем рисунке, порты контейнеров в одном pod конфликтуют. В результате контейнер не может быть запущен.

    Рисунок 1 Сбой перезапуска Pod из‑за конфликта порта контейнера


Решение

Настройте корректные порты контейнеров, которые не конфликтуют друг с другом. Затем снова создайте рабочую нагрузку.

Если pod использует host network (с параметром hostNetwork: true), может возникнуть конфликт порта контейнера. Это происходит потому, что контейнеры в pod разделяют сетевой интерфейс и диапазон портов с узлом‑хостом. Несколько pod, использующих один и тот же порт, не могут работать на одном узле.

Неправильное значение Secret, монтируемого в рабочую нагрузку

В событии отображается информация, аналогичная следующей:

Error: failed to start container "filebeat": Error response from daemon: OCI runtime create failed: container_linux.go:330: starting container process caused "process_linux.go:381: container init caused \"setenv: invalid argument\"": unknown

Коренной причиной является монтирование секрета в рабочую нагрузку, но значение секрета не зашифровано с помощью Base64.

Решение

Создайте Secret в консоли. Значение секрета автоматически зашифровывается с помощью Base64.

Если вы используете YAML для создания секрета, необходимо вручную зашифровать его значение с помощью Base64.

echo -n "Content to be encoded" | base64

Несоответствующий тег образа контейнера архитектуре узла

При создании рабочей нагрузки на узле Arm не используется корректный тег образа. Чтобы решить проблему, используйте правильный тег образа.

Выход команды tail -f xx в команде запуска контейнера (Код выхода: 141)

Событие Kubernetes выглядит следующим образом:

the failed container exited with ExitCode: 141

Возможная причина

Устаревшая версия containerd несовместима с версией tail (≥ 8.28) в образе контейнера. В результате выполнение команды tail -f приводит к неожиданному завершению с кодом выхода 141.

Решения

  • Решение 1: Обновите кластер до v1.25.16-r20, v1.27.16-r20, v1.28.15-r10, v1.29.10-r10, v1.30.6-r10, v1.31.4-r0 или более новой версии.
  • Решение 2: Сбросьте узел и вместо этого используйте среду выполнения контейнеров Docker.

Проверки параметров сервиса

Проверьте, правильно ли выполнена команда запуска рабочей нагрузки, или есть ли в ней ошибка.

  1. Войдите в узел, где находится аномальная рабочая нагрузка.
  2. Проверьте ID контейнера, в котором pod рабочей нагрузки выходит аномально.

    Если узел использует Docker, выполните следующую команду:

    docker ps -a | grep $podName

    Если узел использует containerd, выполните следующую команду:

    crictl ps -a | grep $podName

  3. Просмотрите логи контейнера.

    Если узел использует Docker, выполните следующую команду:

    docker logs $containerID

    Если узел использует containerd, выполните следующую команду:

    crictl logs $containerID

    Примечание: В предыдущей команде containerID указывает ID контейнера, который завершил работу.

    Исправьте ошибку workload на основе logs.

Общая проблема 1: Incorrect Container Startup Command

Как показано на рисунке ниже, контейнер не запускается из‑за неверной startup command.

Решение

Создайте новый workload и настройте правильный startup command.

Общая проблема 2: "fatal error: procresize: invalid arg" при запуске

После создания workload он не запускается. В logs отображается следующая ошибка:

fatal error: procresize: invalid arg
runtime stack:
runtime.throw(0x75be20, 0x17)
/usr/lib/google-golang/src/runtime/panic.go:530 +0x99
runtime.procresize(0x180, 0x0)
/usr/lib/google-golang/src/runtime/proc1.go:2735 +0xba6
runtime.schedinit()
/usr/lib/google-golang/src/runtime/proc1.go:72 +0x110
runtime.rt0_go(0x7ffcd751f9f8, 0x1, 0x7ffcd751f9f8, 0x0, 0x0, 0x1, 0x7ffcd7520b77, 0x0, 0x7ffcd7520b81, 0x7ffcd7520bc3, ...)
/usr/lib/google-golang/src/runtime/asm_amd64.s:109 +0x132

Согласно журналам ошибок, Go‑программа падает при запуске, потому что среда выполнения пытается установить GOMAXPROCS на основе видимого количества CPU и вычисляет недопустимое значение из‑за переполнения целого числа. Это происходит, когда видимое количество CPU контейнера превышает 255, а версия Go — 1.9 или 1.10. Версия Go в образе — 1.10.

В Go 1.9 и 1.10 среда выполнения использует 8‑битное целое для хранения количества CPU, которое переполняется при наличии более 255 видимых ядер. Переполненное значение передаётся внутренней функции procresize, вызывая падение контейнера.

Выполните следующую команду, чтобы проверить ограничение CPU узла:

cat /sys/fs/cgroup/cpuset/cpuset.cpus

Вывод 0-383, что превышает 255. Это подтверждает причину.

Решение

Используйте один из следующих методов для решения этой проблемы:

  • Обновите Go‑программу в образе до версии новее 1.10 (рекомендуется последняя версия). Пересоберите образ и повторно разверните.
  • Добавьте переменные окружения в YAML‑файл workload, чтобы ограничить GOMAXPROCS.
    - env:
    - name: GOMAXPROCS
    value: "1"