梦行志12G 本地推理生产线 ① 总览：怎么在 12G 显卡上跑出 128K 与 40 t/s
硬件、最终基线、全系列目录与阅读路径——一条 12G 消费级推理生产线的完整全貌
目录
12G 本地推理生产线 ① 总览：怎么在 12G 显卡上跑出 128K 与 40 t/s
这个系列在做什么
一台消费级机器：RTX 4070（12G 显存）+ 62G 内存 + 16 核。目标是把 SC117（Qwen3.8-Flash-Next 系 MoE，abliterated 版，专家层极大——IQ3_S 量化后 expert arena 46.84G，单卡显存连零头都放不下）跑成一条常驻可用的推理生产线：
- 128K 上下文（长会话、长文写作不撞墙）
- 39–43 tok/s（写作/agent 可用档）
- 接进 Hermes Agent，工具调用全链路跑通
- 推理边际成本 ≈ 电费
做完以后回头一看：这条生产线踩过的每个坑、每份账、每个教训，都是可复用的资产。本系列把全程拆开，八篇。
最终基线（全系列结论先放这）
| 参数 | 值 | 一句话理由 |
|---|---|---|
--max-context | 131072（128K） | 长会话刚需，32K 版撞死旋墙后升的 |
--mmap-experts + --resident-budget-gib 32 | 有 / 32 | 热专家 pin 32G 内存，冷尾读文件，修 host RAM OOM |
--kv / --kv-resident | int8 / 8192（clamp 20480） | KV 量化，超出驻留部分流式走 pinned RAM |
--vram-reserve-mib | 1728 | verify/draft head 留余量，消 #2065 空闲底警告 |
--spec / MTP | 4 / en 子集头 | 投机解码，速度放大器 |
| expert cache | auto → 干净环境 955 experts / 1.84G VRAM | 启动瞬间 VRAM 干净度决定，见 02 |
验收实测（干净环境）：3 条 7K–9K token 大生成 39.1 / 42.1 / 43.1 tok/s，命中率 47–54%，全部自然 stop，无 #2065 警告，系统 RAM 稳 46–48G，无 exit -9。
系列目录
| # | 篇目 | 内容 |
|---|---|---|
| ① | 本总览 | 硬件、基线、全貌 |
| ② | 三维 OOM 账本 | 部署必过的三道死结：host RAM（exit -9）、VRAM（0 slots）、磁盘（file tier），各账怎么算、各怎么修 |
| ③ | 显存调优深水区 | expert cache auto 的真实机制（字节预算不是槽位上限）、verify/draft head 预留池、reserve 1500→1728、146 experts 事故、nvidia-smi 零检查纪律 |
| ④ | 32K 墙与 128K 窗口 | 死旋塌缩案（160/93/73/48/29）、KV 流式 99.96%、int8 vs q4_0、33,788 token 无 mmap 先例、窗口扩张决策 |
| ⑤ | 量化位与模型选型 | 官方 / SC117-IQ2_XS / IQ3_S 四方性能台账、“速度梯队 = 量化梯队”、主线 + 备用 + 触发器表 |
| ⑥ | 长文写作实战 | 15K 单段远端回声退化、毒上下文回喂、四条客户端 SOP、续写三件套、验收口径 |
| ⑦ | 接进 Hermes | providers.llama-cpp 接线、本地主力 + 免费云端兜底双层架构、实测数据、max_tokens 撞 thinking 预算的坑 |
| ⑧ | 四问知识库方法论 | 变更四问 + 教训三要素 + 快照证据链 + git——让任何新会话 5 分钟还原全部状态，可迁移到一切自托管系统 |
怎么读
- 想复现部署：② → ③ → ④ → ⑤ 按序
- 只想写长文：⑥（配 ① 的基线表）
- 想把本地模型接进自己的 Agent：⑦
- 做的是自托管基础设施：⑧（方法论篇，不依赖前七篇）
为什么值得折腾
账很好算：这条生产线建好是一次性投入（时间），之后每生成一个 token 的推理成本 = 0。写作（章节初稿批量）、agent 编排（排障/运维/工作流）两条线从此没有"按 token 付费"项。而它踩坑的全部记录（第 2–5 篇）与方法论（第 8 篇），是下次升级引擎、换模型、换卡时直接翻用的资产——不靠记忆。
全系列每一篇的数字都能在三方对照台账和快照证据链里逐条复核。下一篇：部署前必过的三道 OOM 死结。