新内核pass nvid

一、内核:稳定 6.18 vs 最新

  • 现状:6.18.56 LTS(支持到 2028-12),modules/system/kernel.nix:11 钉死 linuxPackages_6_18。
  • 切 latest 就一行:boot.kernelPackages = pkgs.linuxPackages_latest; + rebuild(带描述)。
  • 别动:2026-10-10 已实测 7.2.9 上 nvidia-open-595.71.05 编译失败(内核移除了 strncpy,见 kernel.nix:12 注释)。瓶颈永远是闭源驱动滞后,不是内核。6.18 对 llama 推理无短板。

二、性能对比推测

口径:第一行为 100 基准;pp(提示词处理)吃算力对 cuda/vulkan 差距更敏感,tg(解码)吃显存带宽差距收窄,下表取综合档。

方案CPU内存硬盘IO显卡算力性能显卡图形性能最终算力性能
cuda:host nvidia llama100100100100100100
cuda CDI:host nvidia docker llama1001009910010099
直通KVM:host pass + kvm nvidia llama98979098096
直通KVM CDI:host pass + kvm nvidia docker llama97978998095
vulkan:host vulkan llama1001001008510085
vulkan CDI:host vulkan docker llama100100998410084
  • 显卡 列只看卡本身:docker 行 100(CDI 设备直给,无 GPU 虚拟化);直通行 98(PCIe 直通无模拟,扣的是中断重映射 + 偶发调度延迟,纯算力负载约 2 点);vulkan 行 85/84(后端吃不满硅片:无 FA、kernel 不如 cuda,跟最终算力列同源)。
  • 图形列看宿主机显示:host 四行 100(4060 DP 直驱,计算后端不影响亮机);直通两行 0——卡被 VM 拿走,宿主机显示回落到 780M(屏1 的 DP 输出没了,KScreen 要重搞)。VM 内图形约 90(Looking Glass / Sunshine 取回画面,有损耗 + 延迟,不计入本表)。
  • docker 税约等于 0:GPU 走 CDI 直给,CPU/内存无虚拟化,硬盘只差 overlayfs 一层(模型一次性加载,稳态可忽略)。
  • kvm 税主要在中断/IO 与内存虚拟化(开 hugepages 能追回 1~2 点);硬盘列给的是 virtio 档,模型加载慢几秒,加载完不影响 token/s。
  • vulkan 档 85/84 是 cuda=100 下的相对值:pp 阶段差距更大(约 70~80),tg 阶段收窄(约 90),综合取 85。quant 越大、FA 缺席的影响越明显。
  • 净结论:直通 + cuda(95~96)大概率反超宿主机 + vulkan(84~85),税被后端优势覆盖;但 host + cuda(99)仍是理论最优。