load 高但 CPU 低:实测判定(v100,28 vCPU)
- 结论:不是内存导致 CPU 上不去,也不是 I/O 堆积;load 高来自 GPU 同步等待线程(D 态)叠加 1/5/15 分钟 EWMA 尾巴。
- 判据口径:Linux loadavg 计 R(可运行)+ D(不可中断睡眠);iowait 只统计块设备等待,等 GPU 不计入 iowait —— 所以 GPU 密集型负载天然是「load 高 + CPU 低 + iowait 0」。
- 关键实测:spike 期间 CPU 仅 4~8%,iowait 0.00%,procs_blocked 0,PSI 三项(cpu/io/memory)全 0。该机 node_disk_* 不在抓取白名单,磁盘吞吐无采集值,故不用它作判据。
- 内存充足:可用 3.97GB,swap 238MB / 8GB(si/so≈0),PSI memory 0,容器 32.5GB / 36G 限制,OOMKilled=false。
- 稳态对照:闲置时 load 0.00~0.16、CPU 1.3%;13:28 峰值 9.75 后按 EWMA 衰减,13:50 已回落到 0.64~0.95。
- 判据建议:这台不要看 load 绝对值(28 核上 3 ≈ 11% 占用),要看 PSI 三项 some 是否非零。
- 判据补齐(2026-11-22):vmagent 白名单已加入 node_procs_running / node_procs_blocked / node_pressure_*,看板 load 面板已并入 procs 两条与 PSI 三条。
| 判据 | 实测 | 判定 |
|---|
| 可运行队列 r(vmstat 60s 均值) | 0.98 | 无 CPU 排队 |
| 阻塞进程 procs_blocked | 0 | 无 D 态堆积 |
| iowait(CPU 时间占比) | 0.00% | 无块设备等待 |
| PSI cpu / io / memory(some) | 0.00 / 0.06 / 0.00 | 无资源争抢 |
| 磁盘吞吐 sda / sdb | 未采集 | node_disk_* 不在白名单,判据改用 iowait=0.00% |
| 内存可用 | 3.97 GB | 充足 |
| swap 使用 / si,so | 238 MB / 8 GB,≈0 | 无换页压力 |
| 容器内存 / 限制 | 32.5 GB / 36 G,OOMKilled=false | 未触顶 |
| load 折算(28 核) | 3.0 ≈ 11% | 远未饱和 |
| 24h load 均值 / 峰值 | 1.77 / 14.01 | 峰值对齐 prompt 预填充 |
| 24h CPU 均值 / 峰值 | 5.37% / 37.3% | 短时计算密集 |
| 时刻 | load1 | CPU | iowait | 磁盘读 |
|---|
| 13:16 | 4.09 | 8.7% | 0.00% | 未采集 |
| 13:26 | 7.95 | 4.3% | 0.00% | 未采集 |
| 13:28 | 9.75 | — | 0.00% | 未采集 |
| 13:36 | 2.88 | 4.0% | 0.00% | 未采集 |
| 13:46 | 2.72 | 1.4% | 0.00% | 未采集 |
| 13:50 | 0.64~0.95 | 1.3% | 0.00% | 未采集 |
+======================================================================+
| 1. WORKLOAD |
+======================================================================+
| llama/strata server: 54 threads, 2x V100, 28 vCPU |
+======================================================================+
|
v
+======================================================================+
| 2. TASK STATE -> WHAT IT COUNTS |
+======================================================================+
| R runnable -> cpu% YES | loadavg YES |
| D uninterruptible-> cpu% NO | loadavg YES | iowait NO (GPU wait) |
| S sleeping -> cpu% NO | loadavg NO |
+======================================================================+
|
v
+======================================================================+
| 3. MEASURED (13:14-13:50) |
+======================================================================+
| load1 2.5-9.75 | cpu 4-8% | iowait 0.00% | disk io not scraped |
| procs_blocked 0 | PSI cpu 0.00 io 0.06 mem 0.00 | swap 238MB |
| container RES 32.5GB / limit 36G | OOMKilled false |
+======================================================================+
|
v
+======================================================================+
| 4. VERDICT |
+======================================================================+
| NOT memory pressure | NOT IO backlog | NOT cpu starvation |
| loadavg = EWMA tail of prefill burst = 11% of 28 cores |
+======================================================================+
- 峰值形态:load 冲到 9.75 而 CPU 只有 4~8%,说明线程在等 GPU 而不在算 —— 与 iowait 0.00% 一致(磁盘吞吐未采集,无对照值)。
- 容器无 CPU 约束:cpu_quota=0、cpu_period=100000、nanocpus=0、cpuset 空,内核没有「压着任务不发」的条件。
- 次要低效(不影响正确性):strata-host lifetime CPU 均值 98%(长期占 1 核,4 个线程各累计 92 分钟 CPU);cadvisor lifetime 14.4%(1s 抓取间隔)。
- 面板口径可选改进:load 面板改 load/28(每核负载),或叠加 iowait 曲线做对照。