一、内核:稳定 6.18 vs 最新
- 现状:6.18.56 LTS(支持到 2028-12),
modules/system/kernel.nix:11钉死linuxPackages_6_18。 - 切 latest 就一行:
boot.kernelPackages = pkgs.linuxPackages_latest;+ rebuild(带描述)。 - 别动:2026-10-10 已实测 7.2.9 上
nvidia-open-595.71.05编译失败(内核移除了strncpy,见 kernel.nix:12 注释)。瓶颈永远是闭源驱动滞后,不是内核。6.18 对 llama 推理无短板。
二、性能对比推测
口径:第一行为 100 基准;pp(提示词处理)吃算力对 cuda/vulkan 差距更敏感,tg(解码)吃显存带宽差距收窄,下表取综合档。
| 方案 | CPU | 内存 | 硬盘IO | 显卡算力性能 | 显卡图形性能 | 最终算力性能 |
| cuda:host nvidia llama | 100 | 100 | 100 | 100 | 100 | 100 |
| cuda CDI:host nvidia docker llama | 100 | 100 | 99 | 100 | 100 | 99 |
| 直通KVM:host pass + kvm nvidia llama | 98 | 97 | 90 | 98 | 0 | 96 |
| 直通KVM CDI:host pass + kvm nvidia docker llama | 97 | 97 | 89 | 98 | 0 | 95 |
| vulkan:host vulkan llama | 100 | 100 | 100 | 85 | 100 | 85 |
| vulkan CDI:host vulkan docker llama | 100 | 100 | 99 | 84 | 100 | 84 |
- 显卡 列只看卡本身:docker 行 100(CDI 设备直给,无 GPU 虚拟化);直通行 98(PCIe 直通无模拟,扣的是中断重映射 + 偶发调度延迟,纯算力负载约 2 点);vulkan 行 85/84(后端吃不满硅片:无 FA、kernel 不如 cuda,跟最终算力列同源)。
- 图形列看宿主机显示:host 四行 100(4060 DP 直驱,计算后端不影响亮机);直通两行 0——卡被 VM 拿走,宿主机显示回落到 780M(屏1 的 DP 输出没了,KScreen 要重搞)。VM 内图形约 90(Looking Glass / Sunshine 取回画面,有损耗 + 延迟,不计入本表)。
- docker 税约等于 0:GPU 走 CDI 直给,CPU/内存无虚拟化,硬盘只差 overlayfs 一层(模型一次性加载,稳态可忽略)。
- kvm 税主要在中断/IO 与内存虚拟化(开 hugepages 能追回 1~2 点);硬盘列给的是 virtio 档,模型加载慢几秒,加载完不影响 token/s。
- vulkan 档 85/84 是 cuda=100 下的相对值:pp 阶段差距更大(约 70~80),tg 阶段收窄(约 90),综合取 85。quant 越大、FA 缺席的影响越明显。
- 净结论:直通 + cuda(95~96)大概率反超宿主机 + vulkan(84~85),税被后端优势覆盖;但 host + cuda(99)仍是理论最优。