K8s 企业级容器云平台：从集群搭建到微服务监控全流程实践

在企业级环境中，Kubernetes (K8s) 已经成为云原生应用部署和管理的首选平台。然而，从零开始搭建一个高可用、可扩展的 K8s 集群，并实现微服务的优雅暴露和完善的监控告警机制，仍然面临诸多挑战。本文将深入探讨这些关键环节，分享最佳实践和避坑经验。

K8s 集群搭建：高可用方案选型

Etcd 集群搭建

Etcd 是 K8s 的核心组件，用于存储集群状态和配置信息。为了保证高可用，Etcd 集群至少需要部署 3 个节点。我们推荐使用静态成员发现方式配置 Etcd 集群，避免依赖 DNS 或其他服务发现机制。

# etcd.conf.yml
name: etcd-1
data-dir: /var/lib/etcd
listen-client-urls: http://10.0.0.1:2379
advertise-client-urls: http://10.0.0.1:2379
initial-advertise-peer-urls: http://10.0.0.1:2380
listen-peer-urls: http://10.0.0.1:2380
initial-cluster-token: etcd-cluster
initial-cluster: etcd-1=http://10.0.0.1:2380,etcd-2=http://10.0.0.2:2380,etcd-3=http://10.0.0.3:2380
initial-cluster-state: new

Kubernetes Master 节点初始化

使用 kubeadm 工具可以快速初始化 K8s Master 节点。在初始化过程中，需要指定 Etcd 集群的地址和 Kubernetes 版本。

kubeadm init --apiserver-advertise-address=10.0.0.1 --pod-network-cidr=10.244.0.0/16 --kubernetes-version=1.27.0 --control-plane-endpoint="10.0.0.1:6443" --ignore-preflight-errors=all

• --apiserver-advertise-address: 指定 API Server 监听的 IP 地址。
• --pod-network-cidr: 指定 Pod 网络 CIDR。
• --kubernetes-version: 指定 Kubernetes 版本。
• --control-plane-endpoint:指定高可用集群的 endpoint 地址，通常使用负载均衡器地址。

Kubernetes Worker 节点加入集群

使用 kubeadm join 命令可以将 Worker 节点加入到 K8s 集群中。

kubeadm join 10.0.0.1:6443 --token <token> --discovery-token-ca-cert-hash sha256:<hash>

微服务暴露：Ingress Controller 选型与配置

Ingress Controller 选型

Ingress Controller 负责将外部流量路由到 K8s 集群内部的 Service。常见的 Ingress Controller 包括 Nginx Ingress Controller 和 Traefik。

• Nginx Ingress Controller: 基于 Nginx，稳定可靠，社区活跃。支持多种配置方式，包括 ConfigMap 和 IngressClass。
• Traefik: 云原生 Ingress Controller，支持动态配置和自动证书管理。更易于与云平台集成。

本文以 Nginx Ingress Controller 为例进行讲解。在实际生产环境中，需要根据业务需求和团队技术栈选择合适的 Ingress Controller。

Nginx Ingress Controller 部署

可以通过 Helm Chart 快速部署 Nginx Ingress Controller。

helm install ingress-nginx ingress-nginx/ingress-nginx --namespace ingress-nginx --create-namespace

Ingress 规则配置

通过 Ingress 规则可以将外部域名或路径映射到 K8s Service。

# ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: my-ingress
  namespace: default
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - host: example.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: my-service
            port:
              number: 80

• nginx.ingress.kubernetes.io/rewrite-target: 指定 URL 重写规则，将请求转发到后端 Service 时去掉 Ingress 中定义的路径前缀。

监控告警：Prometheus + Grafana 方案

Prometheus 部署

Prometheus 是一款开源的监控和告警系统，可以采集 K8s 集群和应用程序的指标数据。同样可以使用 Helm Chart 进行快速部署。

helm install prometheus prometheus-community/prometheus --namespace prometheus --create-namespace

K8s 集群监控配置

Prometheus 可以通过 Service Discovery 机制自动发现 K8s 集群中的 Pod 和 Service，并采集其指标数据。需要配置相应的 ServiceMonitor 和 PodMonitor 资源。

# servicemonitor.yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: my-service-monitor
  namespace: default
spec:
  selector:
    matchLabels:
      app: my-service # 匹配 Service 的 labels
  endpoints:
  - port: web

Grafana 仪表盘配置

Grafana 是一款开源的数据可视化工具，可以与 Prometheus 集成，展示 K8s 集群和应用程序的监控数据。Grafana 提供了丰富的仪表盘模板，可以快速创建 K8s 监控仪表盘。

Alertmanager 告警配置

Alertmanager 是 Prometheus 的告警组件，可以根据预定义的规则发送告警通知。可以配置告警规则，例如 CPU 使用率超过 80% 时发送告警通知。

# alert.rules.yml
alert: HighCPUUsage
expr: sum(rate(process_cpu_seconds_total{job="node-exporter"}[5m])) by (instance) > 0.8
for: 1m
labels:
  severity: warning
annotations:
  summary: Instance {{ $labels.instance }} CPU usage is above 80%

实战避坑经验总结

• Etcd 集群备份: 定期备份 Etcd 集群数据，防止数据丢失。
• Ingress 资源限制: 限制 Ingress 资源的创建权限，避免恶意 Ingress 规则影响集群稳定性。
• Prometheus 存储容量规划: 合理规划 Prometheus 的存储容量，避免磁盘空间不足。
• 告警规则优化: 根据实际业务需求优化告警规则，避免误报和漏报。

通过以上实践，可以搭建一个稳定可靠的企业级 K8s 集群，并实现微服务的优雅暴露和完善的监控告警机制。在实际部署过程中，还需要根据具体情况进行调整和优化，不断提升 K8s 运维能力。