Dockerd 高 CPU 使用率排查与解决方案

摘要：本文总结了如何排查 Docker 引擎（dockerd）占用高 CPU 的问题，通过分析系统调用、容器资源使用、日志处理和网络监控等关键点，提供了具体的诊断步骤和优化建议。

1. 问题概述

      在实际环境中，发现 dockerd 进程的 CPU 使用率异常高（如 200%），但所有运行中的容器的 CPU 使用率却很低，说明问题不在容器本身，而是在 Docker 引擎。

2. 排查思路

      通过以下步骤进行排查：

2.1 使用 docker stats 查看容器资源使用情况

docker stats --no-stream

      确认所有容器的 CPU 和内存使用率是否正常。

2.2 查看 dockerd 进程的详细信息

ps -ef | grep dockerd

      查看 dockerd 的 PID 和相关参数。

2.3 检查 dockerd 的负载来源

      使用 strace 跟踪 dockerd 的系统调用，分析其行为。

sudo strace -p <PID> -f -o /tmp/dockerd.trace

      注意：由于 dockerd 是多线程服务，跟踪时可能会生成大量日志文件，建议限制追踪时间或按线程拆分。

3. 关键系统调用分析

      以下是部分常见的系统调用及其含义：

3.1 pread64

      表示从文件描述符中读取数据，可能涉及容器日志或镜像层的读取。

3.2 nanosleep

      表示进程主动休眠，可能是轮询机制的一部分，若频繁出现，可能导致 CPU 飙高。

3.3 inotify

      表示文件变化监听，可能在监控容器配置或挂载目录的变化。

4. 可能的原因及解决方案

4.1 日志处理压力大

      如果容器日志过多，会导致 dockerd 处理日志压力大。

      解决方案：

{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3"
  }
}

      重启 Docker 以生效：

sudo systemctl restart docker

4.2 文件监控过多

      如果 dockerd 监控了大量文件或目录，可能导致性能下降。

      解决方案：

• 减少挂载目录数量。
• 避免将大目录挂载进容器并启用 SELinux 标签。

4.3 容器频繁创建/销毁

      频繁的容器启停操作可能导致 dockerd 负载过高。

      解决方案：

• 检查 CI/CD 或健康检查策略。
• 优化容器生命周期管理。

4.4 Docker 版本问题

      旧版本的 Docker 可能存在性能或内存泄漏问题。

      解决方案：

sudo apt update && sudo apt upgrade docker-ce docker-ce-cli containerd.io -y

5. 临时缓解方法

      如果问题紧急，可以尝试以下方法：

5.1 重启 Docker 引擎

sudo systemctl restart docker

      这会释放当前资源并重新初始化引擎。

5.2 清理无用容器和镜像

docker container prune -f
docker image prune -a -f
docker network prune -f
docker volume prune -f

      清理未使用的资源以减轻引擎负担。

6. 高级分析工具

      如果需要进一步深入分析，可以使用 perf 工具生成火焰图：

perf record -p <PID> -g -- sleep 30
perf script | stackcollapse-perf.pl > out.folded
flamegraph.pl out.folded > flamegraph.svg

      这会生成一个 SVG 图形，展示占用 CPU 时间最多的函数调用栈。

7. 总结

      通过以上步骤，可以有效定位并解决 dockerd 占用高 CPU 的问题。主要原因是日志处理、文件监控、容器频繁启停以及 Docker 引擎本身的性能问题。建议定期清理无用资源，设置合理的日志限制，并升级到最新稳定版本以提高稳定性。