一句话
- V100-32G 跑 Qwen3.8-Flash-Next 只有两条正路：Gyro-M TQ2_0＋llama.cpp（保兼容）和 strata 专家包（保速度），两条都已在手；能动现状的只剩 Gyro-S 这一个变量。
四个流派（体积，2026-11-06 HF 实测）
| 流派 | 代表仓（下载量） | 模型＋量化档 | 体积 |
| Gyro 三值家族 | agentionai/Gyro-GGUF（81万） | Qwen3.8-Flash-Next-Gyro：S-TQ1_0／M-TQ2_0／L-TQ3_0 | M=92G 单文件 |
| GSQ-RCO IQ 家族 | ISTA（680万，全网最高）／SC117（401万，去魅版） | Qwen3.8-Flash-Next-GSQ-RCO：Q2_0／IQ2_XS／IQ3_XXS／IQ3_S | 66.4／68.0／75.8／83.6G（两分片，shard2 是 28.8G n-gram 表） |
| unsloth 全档位 | unsloth（130万） | Qwen3.8-Flash-Next：BF16／Q8／Q6_K_XL…UD-Q4_K_XL…UD-IQ1＋engram 可换表 | Q4 起 111G（4 分片） |
| strata 原生包 | 官方 feed | gyro-m：engine＋pack（非 GGUF） | 专家 29.9G |
两个量化家族（别套用结论）
| 家族 | 代表量化 | 适用对象 | "3→2 断崖"适用否 |
| 三值量化 | TQ1_0／TQ2_0／TQ3_0（＋Scion 三值系，见下） | Qwen3-Next／Qwen4Exp 架构专用 | 否，自成曲线 |
| i-quants | IQ2_XS／IQ3_XXS／IQ3_S／IQ4_NL | 通用模型（Qwen3.5、DeepSeek 等） | 是，家族内成立 |
各家发了什么分（覆盖度，2026-11-06 逐卡核查）
| 模型 | KLD | 任务分（AIME／GPQA／LCB 同一套） | MMLU-Pro | 其它自有口径 |
| Gyro-L／M／S | 有（自测，还引了三家数） | 无 | M 80.0／S 78.1（AP-Q4 81.4 作参照） | LCB v6（M 128k 下 30/30，64k 下 90%；S 67%／83%）＋45-run loop 测试 0 loops |
| GSQ-RCO（ISTA） | 无 | 有，全表（见下） | 无 | 零-shot 五项＋recovery（全员超 100%，作者称系方差） |
| ggml-org 官方量化版 | 无（卡仅 1094 字节，无评测） | 无 | 无 | 无；KLD 0.200 是 Gyro 自测引用值 |
| AtomicChat 版 | 自报（自有口径，见下） | 无 | 无 | Same top-1／PPL ratio；Q4_K_M：KLD 0.0842／top-1 89.49%／PPL 1.026 |
| unsloth 动态版 | 无（KLD 0.334 是 Gyro 引用值） | 卡 59KB 全是图片表，文本层无数字 | 无 | 无（文本层） |
- 口径警告：AtomicChat 自报 Q4_K_M 的 KLD 0.0842 与 Gyro 引用的 0.228 不是同一把尺（各测各的 harness），不可比、不进排名表。
质量分（KLD↓，Gyro 自测口径，模型都是 Qwen3.8-Flash-Next）
| 模型 | 量化 | 体积（仅权重，不含 n-gram 表） | 约合 bpw※ | KLD↓ | 出处 |
| Gyro-L | TQ3_0 | 50.2GiB | ~2.4 | 0.146 | agentionai 卡 |
| ggml-org 量化版 | IQ4_NL | 68.2GiB | — | 0.200 | agentionai 卡引用（ggml 卡无自测） |
| AtomicChat 版 | Q4_K_M | 52.3GiB | — | 0.228 | agentionai 卡引用（与其自报 0.0842 口径不同） |
| Gyro-M（在用） | TQ2_0 | 35GiB | ~1.7 | 0.291 | agentionai 卡 |
| GSQ-RCO（ISTA） | IQ3_XXS | — | 3.00（官方标称） | 0.311 | agentionai 卡引用 |
| unsloth 动态版 | UD-Q2_K_XL | — | — | 0.334 | agentionai 卡引用（unsloth 卡无文本数） |
| Gyro-S | TQ1_0 | 27.64GiB | ~1.3 | 0.401 | agentionai 卡 |
| GSQ-RCO（ISTA） | IQ2_XS | 39.2G（shard1） | 2.50（官方标称） | 差于 0.401 | agentionai 卡（"Gyro-S 以小 24% 胜出"） |
- ※bpw：TQ 三行是按 177B 参数反推的估算（权重÷参数），仅用于跨家族对齐；IQ 两行是 ISTA 官方标称。
任务分（ISTA 卡，全网唯一全表；模型都是 Qwen3.8-Flash-Next-GSQ-RCO；BF16 基准 AIME 100.00／GPQA-D 91.92／LCB 87.43）
| 模型 | 量化（权重） | bpw（官方标称） | 体积 | AIME25↑ | GPQA-D↑ | LCB v6↑ | 任务均分↑ |
| Qwen3.8-Flash-Next（BF16 基准） | BF16 | 16.00 | 354G | 100.00 | 91.92 | 87.43 | 93.12 |
| Qwen3.8-Flash-Next-GSQ-RCO | IQ3_S | 3.50 | 83.6G | 100.00 | 92.93 | 86.86 | 93.26 |
| Qwen3.8-Flash-Next-GSQ-RCO | IQ3_XXS | 3.00 | 75.8G | 100.00 | 91.41 | 86.29 | 92.57 |
| Qwen3.8-Flash-Next-GSQ-RCO | IQ2_XS | 2.50 | 68.0G | 96.67 | 87.37 | 83.43 | 89.16 |
| Qwen3.8-Flash-Next-GSQ-RCO | Q2_0 | 2.40 | 66.4G | 96.67 | 89.39 | 81.14 | 89.07 |
- 断崖位置：IQ3_XXS→IQ2_XS，均分掉 3.4，AIME 掉 3.3。
- 本表测的是权重量化（transformer 权重压到 X bpw），KV 是默认 F16，与本表无关。
社区同场实测一：Gyro-S vs M（HF discussion #3，RX 9070 16G＋32G RAM，strata resident，2026-10-18）
| 模型 | ctx | prefill↑ | decode↑ | 内存占用 |
| Gyro-S | 131K | 1318 | 65.4 | 22.4GiB（余 7.3） |
| Gyro-S＋vision | 262K | ~1080~1174 | ~53~64 | 25.0GiB（余 4.7） |
| Gyro-M（在用同款） | 131K | 807~1014 | ~50~53 | 27.1GiB（仅余 2.5） |
| 智力项（同任务同场） | Gyro-S | Gyro-M | Qwen3.8-27B UD-IQ4_XS（参照） |
| coding agent（Java 21 多模块，绿构建） | 5/5（21~48min） | 2/2（37~53min） | 1/2 |
| tool-eval-bench（69 场景） | 89 | 91 | — |
| 长 ctx 召回（exact match，3 seeds） | 12/12（@100K，且 170K／240K 也过） | 12/12（@100K） | — |
| 长答 loop／退化 | 0/8 | 0（agent runs 无） | — |
- 楼主结论：32G 的机子跑 S（262K＋vision），M 同质量但慢 1.3~1.5 倍且几乎不剩内存。
- 对应 v100：内存 39G 比他多 7G，M 的 27.1G 占用从"仅余 2.5"变成"余 12"，能跑但依然局促；S 则从"余 7.3"变成"余 14"，宽裕。
社区同场实测二：双 V100 跑 IQ3_S（ISTA discussion #59，2×V100 32G，strata 0.1.43.1，2026-10-19）
| 部署 | 配置 | prefill↑ | decode↑ |
| GSQ-RCO IQ3_S（262K ctx，61.7K prompt） | INT8 KV＋MTP spec4，双 V100（PCIe Gen3 x4） | 2098 | 76.2 |
| uncensored Q4_K_M（参照，4 卡：V100＋3090＋3060＋V100） | FP16 KV，同 prompt | 2215 | 70.6 |
| agent 套件（24 任务×3，GPU 分配不同，非 head-to-head） | IQ3_S（双 V100） | Q4_K_M（4 卡） | GLM-5.3-Flash（4 卡） |
| strict 成功 | 66/72（91.7%） | 69/72（95.8%） | 69/72（95.8%） |
| role-weighted | 90.0% | 96.7% | 95.8% |
| 成功任务/小时↑ | 169.5（最快） | 161.6 | 141.3 |
- 作者原话：IQ3_S 成功任务耗时最短、吞吐最高，但少过 3 个 episode；配对比较的置信区间含零，"suggestive rather than conclusive"。
- 对应 v100：双 V100（PCIe x4，慢于本机 NVLink SXM2）IQ3_S decode 76.2——本机若跑只会更快；但显存常驻需求（分片 54.8G）不变，结论不变：跑得动，但 resident 装不下。
社区同场实测三：三值 vs GSQ 30 任务 A/B（ISTA discussion #71，RX 7900 XT，HiveBench，2026-10）
| 参测（同约 60~66G 体积） | 类型 | 准确率↑ | wall↓ | 速度 |
| Scion Q6_K（三值＋trained corrections） | 三值系（SkyIsNotGreen，Apache-2.0） | 93.3%（28/30） | 316s | 66.7 tok/s |
| Scion Q2_0（三值） | 三值系 | 76.7%（23/30） | 779s | 32.6 tok/s |
| GSQ-RCO Q2_0 | 非三值基线 | 63.3%（19/30） | 1336s | 6.0 tok/s |
- 任务构成：12 GSM8K＋8 MATH＋6 HumanEval＋4 TruthfulQA，单样本 temp 0.1；GSQ 11 个 miss 全撞 token 上限（预算内比较，作者声明非能力上限）。
- 栈差异：Scion 走 Strata native pack，GSQ 走 GGUF 直读——作者承认是 operating-point 对比，非纯量化对比。
- 意义：第三个三值流派（Scion）同体积赢 GSQ-RCO 13~30 个点，佐证"三值＞GSQ 同体积"的 KLD 结论；但与 Gyro 系未同场，Scion vs Gyro 无数据。
权重 vs KV（两根正交轴）
| 权重量化（上表在测的） | KV 量化（上表无关） | |
| 压的是什么 | transformer 权重（文件里的 X bpw） | 运行时 KV 缓存（随 ctx 线性涨的那块） |
| 在哪定 | 下载哪个 GGUF 文件即定死 | 运行时开关 -ctk/-ctv（q8_0／q4_0／f16），可叠加在任何权重上 |
| 影响 | 模型智商（上表分数）＋文件体积 | 长 ctx 显存／内存占用，不影响上表分数 |
| v100 现状 | TQ2_0（~1.7bpw） | 默认 F16，走 pinned RAM（256K 已验证） |
V100-32G 落点
| 候选 | 质量锚点 | 常驻需求 vs 32G 显存／39G 内存 | 结论 |
| Gyro-M TQ2_0＋llama.cpp（在用） | KLD 0.291；tool-eval 91；coding 2/2 | 专家 offload＋ngram 跳过，已验证 | 留着，保兼容路线 |
| strata 专家包（在用） | pp 1300＋档，缓存命中 99% | 专家 29.9G，双卡已验证 | 留着，保速度路线 |
| Gyro-S TQ1_0（唯一变量） | KLD 0.401；tool-eval 89；coding 5/5；召回 12/12 到 240K | 27.64GiB 权重；社区 32G 机实测余 7.3G，v100 余 14G | 用户定夺，未动手 |
| GSQ-RCO IQ3_S 83.6G | 任务均分 93.26；双 V100 agent 91.7%（#59），任务/小时最快 | transformer 分片 54.8G ＞ 32G，大半走 PCIe | 纸面能跑实际被换页拖死，不值得 |
| GSQ-RCO Q2_0 66.4G | 30 任务 A/B 63.3%（#71，三值 Scion Q2 同体积 76.7%） | 分片 37.6G，超 32G 一点点 | 要速度已有 strata，没必要 |
| unsloth UD-Q4_K_XL 111G | — | 要 63G 内存＋111G 盘 | 两道坎都过不去 |
| engram 常驻 | Q8 表 54.4G（投机解码用） | 最丐 IQ4_NL 28.8G，塞进 39G 剩 10G，引擎 25G 直接 OOM | 门槛跨不过；128G 平台的 66 tok/s 不是 V100 的路 |
路线演进三轮（历史）
| 轮次 | 依据 | 结论 |
| 一（2026-10-27 设计篇，已作废） | engine 0.1.48 无 sm_70；125B（~30G）＋27B（16.8G）≈51G ＞ 39G | 判 v100 跑不了 125B，125B 留 4060；遗产：三档设计＋降级顺序 |
| 二（2026-10-27 部署篇） | 官方镜像不认 qwen4exp＋TQ2_T／strata 缺 sm_70／agentionai fork 三样全含 | 自建镜像唯一路线，产物 llama-cpp-qwen4exp-v100:2.0.1，262144 跑通；备选 fork（4.5 倍）因 111G 权重＋63G 内存未采用 |
| 三（2026-10-28） | engine 0.1.50 含 sm_70（driver 580 达标），双变量 adopt；宿主三档 tg 47.6／40.6／41.0 | 设计篇作废；MIX 保生产（:8080）、strata 跑测试（:8081） |
出处
- 选型初稿：
.hermes/v100/125b-v100-设计.md、.hermes/v100/125b-v100-部署.md；4060 档位：.hermes/v100/.env（10-25，125B 切 Gyro-M／763B 用 GSQ-RCO IQ2_XS）。 - 推翻实测：
llama-test/report/127.0.0.1-8080/Qwen3.8-125B-Strata-50K-100K-256K_20261028T0113_llamatest.md。 - 体积：HF Hub API 实测（2026-11-06，HEAD content-length）。
- 评测：agentionai／ISTA／AtomicChat／unsloth／ggml-org 模型卡 README（逐卡核查）；社区同场：Gyro-GGUF #3、ISTA-GSQ #59（双 V100）／#71（30 任务 A/B）；engram 口径：unsloth engram/README.md。