冠军资讯
代码一只喵最近在维护一套基于 Kubernetes 的微服务架构时，遇到了一个棘手的问题：部分服务在启动或运行时，偶尔会出现 DNS 服务器没有响应的错误。这导致服务无法解析外部依赖的服务域名，最终导致服务崩溃或者功能异常。本文将深入探讨此类问题的原因，并提供详细的排查与修复方案。
问题场景重现
假设我们有一个名为 payment-service 的支付服务，它需要调用 order-service 的接口。如果 payment-service 启动时，无法解析 order-service.default.svc.cluster.local 这个域名，就会出现 DNS 相关的错误，例如 java.net.UnknownHostException: order-service.default.svc.cluster.local 或 java.net.SocketTimeoutException: Receive timed out。更严重的是，如果 DNS 解析失败，会导致一些关键服务（如 Nginx 反向代理）无法启动，最终影响整个应用的可用性。
底层原理剖析
DNS（Domain Name System） 是互联网的基础服务之一，负责将域名解析为 IP 地址。当应用程序发起 DNS 查询时，通常会经过以下几个步骤：
- 本地 DNS 缓存：应用程序首先检查本地 DNS 缓存，看是否已缓存该域名的 IP 地址。
- 操作系统 DNS 缓存：操作系统也会维护一个 DNS 缓存，如果应用程序缓存未命中，则查询操作系统缓存。
- Local DNS 服务器：如果本地和操作系统的缓存都未命中，则向配置的 Local DNS 服务器（通常由 DHCP 分配，例如 114.114.114.114 或 8.8.8.8）发起查询。
- 递归查询：Local DNS 服务器会进行递归查询，直到找到目标域名的 IP 地址。
DNS 服务器没有响应的错误，可能发生在上述任何一个环节。常见的导致 DNS 故障的原因包括：
- 网络问题：应用程序无法连接到 Local DNS 服务器。
- DNS 服务器故障：Local DNS 服务器自身出现故障或过载。
- DNS 配置错误：应用程序或操作系统的 DNS 配置不正确。
- 防火墙限制：防火墙阻止了 DNS 查询请求。
- 域名不存在：要解析的域名本身不存在。
- Kubernetes 集群内部 DNS 问题：kube-dns 或 CoreDNS 组件故障。
具体解决方案
接下来，我们将提供几种常见的解决方案，帮助你解决 DNS 服务器没有响应的问题。
1. 检查网络连通性
首先，需要确认应用程序所在的服务器或容器能够连接到配置的 Local DNS 服务器。可以使用 ping 命令或 traceroute 命令进行测试。
ping 114.114.114.114
# 如果无法ping通，说明网络存在问题，需要检查网络配置、防火墙规则等。
2. 验证 DNS 配置
确保应用程序和操作系统的 DNS 配置正确。在 Linux 系统中，DNS 配置通常位于 /etc/resolv.conf 文件中。
nameserver 114.114.114.114
nameserver 8.8.8.8
在 Kubernetes 集群中，通常会使用 kube-dns 或 CoreDNS 作为集群内部的 DNS 服务器。可以通过以下命令查看 kube-dns 的配置：
kubectl get cm kube-dns -n kube-system -o yaml
3. 检查 DNS 服务器状态
如果确认网络和 DNS 配置都正确，那么需要检查 Local DNS 服务器自身的状态。可以使用 dig 命令查询域名，查看 DNS 服务器是否能够正常响应。
dig order-service.default.svc.cluster.local
# 如果返回 SERVFAIL 或 timeout 错误，说明 DNS 服务器可能存在故障。
如果 DNS 服务器故障，可以尝试更换其他的公共 DNS 服务器，例如 Google Public DNS（8.8.8.8 和 8.8.4.4）或 Cloudflare DNS（1.1.1.1）。
4. Kubernetes 集群内部 DNS 问题排查
如果是在 Kubernetes 集群中遇到 DNS 问题，需要检查 kube-dns 或 CoreDNS 组件的状态。可以通过以下命令查看 Pod 和 Service 的状态：
kubectl get pods -n kube-system | grep dns
kubectl get svc kube-dns -n kube-system
如果 Pod 状态异常，可以尝试重启 Pod。如果 Service 无法正常访问，可以检查 Service 的配置和 endpoints 是否正确。
5. 防火墙规则检查
确认防火墙没有阻止 DNS 查询请求。DNS 查询通常使用 UDP 协议的 53 端口。可以使用 iptables 或 firewalld 等工具检查防火墙规则。
# 示例：允许 UDP 53 端口的流量
iptables -A INPUT -p udp --dport 53 -j ACCEPT
# 示例：允许 TCP 53 端口的流量(用于大报文)
iptables -A INPUT -p tcp --dport 53 -j ACCEPT
6. 调整 DNS 超时时间
在某些情况下，DNS 查询可能会因为网络延迟而超时。可以尝试调整 DNS 超时时间，增加查询的等待时间。在 Java 中，可以通过设置 networkaddress.cache.ttl 和 sun.net.inetaddr.ttl 属性来调整 DNS 缓存时间和超时时间。例如，可以在 JVM 启动参数中添加以下配置：
-Dnetworkaddress.cache.ttl=60
-Dsun.net.inetaddr.ttl=60
7. 检查主机文件 /etc/hosts
有时，错误的 DNS 解析结果可能被写入了 /etc/hosts 文件，导致应用程序解析域名时获取了错误的 IP 地址。需要检查 /etc/hosts 文件，确保其中没有错误的域名映射。
实战避坑经验总结
- 监控 DNS 解析延迟：使用 Prometheus 和 Grafana 等工具监控 DNS 解析的延迟，及时发现潜在的问题。
- 使用 DNS 缓存：合理配置 DNS 缓存，减少 DNS 查询的次数，提高应用程序的性能。
- 避免使用硬编码 IP 地址：尽量使用域名代替硬编码的 IP 地址，方便服务的动态调整。
- 定期检查 DNS 配置：定期检查 DNS 配置，确保配置的正确性。
- 了解 DNS 的工作原理：深入了解 DNS 的工作原理，有助于更好地排查和解决 DNS 相关的问题。
排查 DNS 服务器没有响应 错误需要耐心和细致，希望本文提供的方案能够帮助你快速定位并解决问题。在复杂的微服务架构中，稳定可靠的 DNS 解析至关重要，它关系到服务的可用性和整体性能。例如在使用 Nginx 作为反向代理和负载均衡器时，如果 DNS 解析出现问题，可能会导致大量的 502 错误，影响用户体验。因此，需要重视 DNS 相关的配置和监控，确保其稳定运行。
