梦行志12G 本地推理生产线 ⑤ 量化位怎么选：IQ2_XS vs IQ3_S 四方台账与主线决策
83 vs 42 t/s 的完整四方台账——速度梯队就是量化梯队，主线 + 备用 + 触发器表一次定档
目录
12G 本地推理生产线 ⑤ 量化位怎么选：IQ2_XS vs IQ3_S 四方台账与主线决策
先立口径：跨引擎版本的速度数字只作参考
本台账 A/B 两列是旧引擎 0.1.44.1（两周前）的数，C/D 是 0.2.1.1（10-21）的数。跨引擎严格 A/B 必须同引擎重测——这里比的是梯队（2-bit vs 3-bit 的量级差），不是绝对值。
四方台账（同卡 4070 12G + 62G RAM）
| 项 | A 官方 IQ2_XS | B SC117-IQ2_XS | C IQ3_S 32K | D IQ3_S 128K（现行） |
|---|---|---|---|---|
| 专家缓存 (VRAM) | 1638 slots / 2.21G | 同 A 结构 | 953 / 1.84G | 1045/2.02G（1500）；955/1.84G（1728 验收） |
| KV（pinned RAM） | 1.55G | 1.55G | 0.39G | ≈1.8G |
| host RAM | 两周无 OOM | 无 OOM | 48–51G 稳 | 46–48G 稳 |
| 长生成峰值 | 2,063 @ 92.9 t/s | 33,788 @ 83.1 t/s（prompt 33.6K，6.8 分钟，本机纪录） | 21,717 @ 48.1 t/s | 14,095 @ 42.1；2,029 @ 29.9；晚 3 条 7–9K @ 39–43 |
| 命中率 | 49–71% | 13–35%（稳态 ~31–34%） | 38–75% | 41–63%（1728 版 47–54%） |
| 32K 墙死旋 | 不会（128K） | 不会（128K） | 会（回答塌缩 160/93/73/48/29） | 不会（余量 10 万+） |
| 需要 mmap | 不需要 | 不需要 | 需要（arena 46.84G 全 pin = OOM） | 需要 |
核心结论：速度梯队 = 量化梯队
IQ2_XS ≈ 80–93 t/s，IQ3_S ≈ 30–48 t/s，约 2 倍价差。 根因不在引擎，在量化本身：
量化位越高 → expert blob 越大 → 每个 token 的 RAM/VRAM/磁盘流量越大。
D 版第 4 请求的盘账：874MB 文件读、4,499 major faults、adaptive tier 拉到 295.8 ms/round——这就是"质量税"的具体形态。想要 IQ3_S 的质量，就认这个速度档；想要 B 的 83 t/s，就回到 IQ2_XS 的质量档。没有中间档，mmap/预算/预留都只能优化、不能改变梯队。
决策（定档）
| 模型 | 定位 | 用途 |
|---|---|---|
| IQ3_S（D 配置） | 主线 | 质量优先：长文写作、agent 长会话（128K 窗口是刚需） |
| IQ2_XS（B 配置） | 快稿 / 基准 / 降级退路 | 速度优先：快稿、A/B 基准；IQ3_S 故障时一键切回（./run-sc117-iq2_xs.sh） |
42 t/s 的使用体感 = 写作流畅、agent 工具调用 60+ t/s（短输出高命中）——够用就不为速度牺牲量化位。
参数触发器表（触发条件满足前，一个都不动）
| 杠杆 | 动作 | 触发条件 | 代价 |
|---|---|---|---|
--resident-budget-gib | 32→40 | 出现 50K+ token 的 prompt 且 slower prompt read 警告，或对 42 t/s 明确不满 | host RAM +8G（55G 安全线上，需重验 RAM 账） |
vision.gpu | true→false | 确认长期不用图片输入 | 丢多模态能力 |
--kv | int8→q4_0 | 仅 VRAM 稳定性出问题 | 写作场景禁用（质量） |
--vram-reserve-mib | 1728→512 | 仅纯测速场景 | 丢 #2065 保护 |
| 换回 IQ2_XS | 切配置 | 对质量要求降级 / IQ3_S 持续故障 | 质量档 |
一句话
选型不是"哪个最好"，是用途决定梯队，触发器决定何时动参。主线 + 备用 + 一张触发器表，比"永远在调参"稳定得多。下一篇：本地模型写长文的四条 SOP。