SC117 本地推理生产线系列 - 标签 -

12G 本地推理生产线 ① 总览：怎么在 12G 显卡上跑出 128K 与 40 t/s

contact@oklife.me (梦行志) — Wed, 21 Oct 2026 00:00:00 +0000

一台 RTX 4070 12G + 62G 内存的消费机，怎么把 SC117（Qwen3.8-Flash-Next MoE）跑到 128K 上下文、42 tok/s，并接进 Hermes Agent 当零成本推理底座。八篇实录，全部数字可复现。

contact@oklife.me (梦行志) — Wed, 21 Oct 2026 00:00:00 +0000

本地 MoE 部署的三种 OOM 死法（宿主内存 exit -9、显存 0 slots 拒启、磁盘软降速）：每维的账怎么算、死结长什么样、怎么修，附真实日志证据。

contact@oklife.me (梦行志) — Wed, 21 Oct 2026 00:00:00 +0000

拆开 expert cache auto 的计算逻辑（字节预算、verify/draft head 预留池、启动瞬间决定论），复盘 146 experts 事故，给出’重启前 nvidia-smi 零检查’这条用事故换来的启动纪律。

contact@oklife.me (梦行志) — Wed, 21 Oct 2026 00:00:00 +0000

agent 长会话在 31K 撞死旋墙、32K 版在 32.4–32.7K prompt 打回答塌缩：窗口截断机制、KV 驻留与流式的真实行为、int8 vs q4_0 取舍，以及为什么最终推到 128K。

contact@oklife.me (梦行志) — Wed, 21 Oct 2026 00:00:00 +0000

同一张 4070、同一套调优块下官方 IQ2_XS / SC117-IQ2_XS / IQ3_S 四方实测台账：速度差距根因是 expert blob 大小。主线/备用决策与四个’触发前不动’的参数触发器。

contact@oklife.me (梦行志) — Wed, 21 Oct 2026 00:00:00 +0000

12G 本地模型跑三万字小说实测 1.5 万字的完整记录：单段远端回声退化、毒上下文回喂、开放’继续’提前 EOS、客户端数字误导。四条客户端 SOP + 续写指令三件套 + 验收口径。

contact@oklife.me (梦行志) — Wed, 21 Oct 2026 00:00:00 +0000

把 12G 卡上的本地 Strata 模型接进 Hermes Agent 的完整实操：接线配置、双层架构设计、30K prompt / 工具调用 / 长生成实测数据，以及一个隐蔽的 max_tokens 互锁坑。

contact@oklife.me (梦行志) — Wed, 21 Oct 2026 00:00:00 +0000

自托管 AI 系统排障成本的大头是’再查一遍’。一套固定格式的知识库方法论：变更四问、教训三要素、证据链、git 版本化，附两条用真实事故换来的过程规则。