Qwen3.8-27B-Heretic MTP 部署总结

Qwen3.8-27B-Heretic + MTP 部署总结

日期：2026-08-25 | 目标：MTP 提升 tg 速度

一、硬件与模型

项目配置
GPU2×V100 16GB NVLink（32GB）
引擎llama.cpp（llama-server）
主模型Qwen3.8-27B-heretic-ara-Q4_K_M-MTP.gguf
上下文202144（~200K）

二、MTP 配置（最终版）

spec-type = draft-mtp
spec-draft-n-max = 2 （✅ 最优值）

其他参数：ctx-size=202144, parallel=3, flash-attn=on, reasoning=on, reasoning-budget=1024

三、测试结果对比

max接受率tg 速度draft 长度显存
10———❌ OOM
548-59%43-50 t/s3.4-3.96✅
358-68%47-50 t/s2.76-3.03✅
272-73%47-53 t/s2.45-2.46✅
无推测—15-35 t/s—✅

四、关键发现

  1. max 越小 → 接受率越高 → 速度越快（max=2 接受率 73%，max=5 仅 48%）
  2. MTP 需要带 MTP 层的模型（普通 GGUF 报错：model doesn't contain MTP layers）
  3. DFlash 与当前 llama.cpp 不兼容（tensor 数量 mismatch：expected 81, got 58）
  4. Abliterated + MTP 兼容性良好（接受率 72-73%，接近理论值）

五、性能总结

方案tg 速度加速比状态
无推测15-35 t/s1x基线
MTP max=247-53 t/s1.5-2x✅ 最终配置
DFlash（理论）50-120 t/s~3.7x⚠️ 待兼容

六、启动命令

pkill -f llama-server
nohup llama-server --models-preset ~/gguf/0410.ini --host 0.0.0.0 --port 8080 --api-key-file ~/gguf/apikey.txt > ~/gguf/llama_server.log 2>&1 &

七、待办

  • 解决 DFlash tensor 兼容性（更新 llama.cpp 或重新转换 GGUF）
  • 长期目标：DFlash 3.7x > MTP 1.5-2x
  • 监控显存，确认 max=2 长期稳定