K8s Pod 调度疑难杂症：原因排查与应对策略全解析

在云原生应用开发中，Kubernetes (K8s) 已经成为事实上的标准。然而，在将应用部署到 K8s 集群时，我们经常会遇到 Pod 调度失败的问题，导致服务无法正常启动。这不仅影响开发效率，还会对业务造成实际的损失。本文将深入探讨 Kubernetes Pod 调度失败的常见原因，并提供详细的排查和解决步骤，帮助大家快速定位问题，保障应用的稳定运行。

常见 Kubernetes Pod 调度失败原因及排查步骤

1. 资源不足 (Insufficient Resources)

这是最常见的 Pod 调度失败原因之一。当集群中没有足够的 CPU、内存或 GPU 资源来满足 Pod 的需求时，调度器就无法将 Pod 调度到任何节点上。可以使用 kubectl describe pod <pod-name> 命令查看 Pod 的事件信息，通常会看到类似 Insufficient cpu 或 Insufficient memory 的错误信息。

kubectl describe pod my-app-pod # 查看 Pod 详细信息

排查步骤：

• 查看节点资源使用情况： 使用 kubectl top node 命令查看各个节点的 CPU 和内存使用情况，确认是否存在资源瓶颈。

  kubectl top node # 查看节点资源使用情况
  

• 查看 Pod 资源请求： 使用 kubectl describe pod <pod-name> 命令查看 Pod 的资源请求 (Requests) 和限制 (Limits)，确认资源需求是否合理。

  

  kubectl describe pod my-app-pod # 查看 Pod 资源请求和限制
  

• 调整 Pod 资源请求： 如果 Pod 的资源请求过高，可以适当降低资源请求值。如果 Pod 的资源请求过低，可能导致应用性能下降，需要根据实际情况进行调整。

  # 示例：调整 Pod 资源请求
  apiVersion: v1
  kind: Pod
  metadata:
    name: my-app-pod
  spec:
    containers:
    - name: my-app-container
      image: my-app-image
      resources:
        requests:
          cpu: 500m # 请求 0.5 个 CPU 核心
          memory: 512Mi # 请求 512MB 内存
        limits:
          cpu: 1 # 限制使用 1 个 CPU 核心
          memory: 1Gi # 限制使用 1GB 内存
  

• 增加节点数量： 如果集群资源确实不足，可以考虑增加节点数量，从而扩大集群的整体资源容量。

2. 节点选择器 (Node Selector) 或节点亲和性 (Node Affinity) 不匹配

Pod 可以通过 nodeSelector 或 nodeAffinity 指定调度到具有特定标签的节点上。如果集群中没有满足这些条件的节点，Pod 也会调度失败。

排查步骤：

• 查看 Pod 的节点选择器或节点亲和性： 使用 kubectl describe pod <pod-name> 命令查看 Pod 的 nodeSelector 或 nodeAffinity 配置。

  kubectl describe pod my-app-pod # 查看 Pod 的节点选择器或节点亲和性
  

• 查看节点的标签： 使用 kubectl get node <node-name> --show-labels 命令查看节点的标签，确认是否存在与 Pod 配置相匹配的标签。

  kubectl get node node1 --show-labels # 查看节点 node1 的标签
  

• 调整 Pod 配置或节点标签： 如果 Pod 的 nodeSelector 或 nodeAffinity 配置与节点标签不匹配，需要修改 Pod 配置或节点标签，使其匹配。

3. 污点 (Taints) 和容忍度 (Tolerations) 配置问题

污点 (Taints) 用于标记节点，表示该节点不应运行某些 Pod。Pod 可以通过容忍度 (Tolerations) 来允许调度到具有特定污点的节点上。如果 Pod 没有配置正确的容忍度，就无法调度到具有相应污点的节点上。

排查步骤：

• 查看节点的污点： 使用 kubectl describe node <node-name> 命令查看节点的污点。

  kubectl describe node node1 # 查看节点 node1 的污点
  

• 查看 Pod 的容忍度： 使用 kubectl describe pod <pod-name> 命令查看 Pod 的容忍度配置。

  kubectl describe pod my-app-pod # 查看 Pod 的容忍度配置
  

• 调整 Pod 配置或节点污点： 如果 Pod 的容忍度与节点的污点不匹配，需要修改 Pod 配置或节点污点，使其匹配。

  

4. Pod 优先级 (Priority) 和抢占 (Preemption)

Kubernetes 允许为 Pod 设置优先级，高优先级的 Pod 可以抢占低优先级 Pod 的资源。如果集群中所有节点都被低优先级 Pod 占用，并且没有足够的资源供高优先级 Pod 使用，则高优先级 Pod 可能会一直处于 Pending 状态，等待资源释放。

排查步骤：

• 查看 Pod 的优先级： 使用 kubectl describe pod <pod-name> 命令查看 Pod 的优先级。

  kubectl describe pod my-app-pod # 查看 Pod 的优先级
  

• 查看集群中 Pod 的优先级： 使用 kubectl get pod --all-namespaces -o wide 命令查看集群中所有 Pod 的优先级。

  kubectl get pod --all-namespaces -o wide # 查看集群中所有 Pod 的优先级
  

• 调整 Pod 优先级或释放资源： 如果高优先级 Pod 无法调度，可以考虑降低其优先级，或者手动删除一些低优先级 Pod，释放资源。

5. 其他问题

除了以上常见原因外，Pod 调度失败还可能由其他原因引起，例如：

• 网络问题： Pod 需要访问网络资源，但网络配置不正确，导致无法调度。
• 存储问题： Pod 需要使用持久化存储，但存储卷无法成功挂载，导致无法调度。
• 调度器故障： Kubernetes 调度器本身出现故障，导致无法正常调度 Pod。可以使用宝塔面板监控服务器，注意服务器的 CPU 占用、内存占用、磁盘 IO 和网络连接数，及时发现服务器异常。

实战避坑经验总结

• 合理设置资源请求和限制： 避免过度请求资源，导致资源浪费，也避免资源请求过低，导致应用性能下降。
• 正确配置节点选择器、节点亲和性、污点和容忍度： 确保 Pod 能够调度到合适的节点上。
• 关注 Pod 优先级： 合理设置 Pod 优先级，避免高优先级 Pod 长期处于 Pending 状态。
• 监控集群资源使用情况： 及时发现资源瓶颈，并采取相应的措施。
• 熟悉 Kubernetes 调度器的原理： 深入理解调度器的调度策略，可以帮助更好地解决 Pod 调度问题。

通过以上分析和排查步骤，相信大家能够更好地理解 Kubernetes Pod 调度失败的原因，并快速定位问题，保障应用的稳定运行。在实际应用中，建议结合实际情况，灵活运用各种排查工具和方法，找到最适合自己的解决方案。另外，如果你的应用使用了 Nginx 作为反向代理，还需要注意 Nginx 的并发连接数设置，避免因为连接数过多导致服务崩溃。可以使用 nginx -t 命令检查 Nginx 配置，确保配置正确。