#42541 [Bugfix] fix swiglu limit issue for humming backend + deepseek v4
原始 PR · 作者 jinzhen-lin · 合并时间 2026-05-19 01:32
修复 Humming MoE 的 SiLU 激活值 clamp 缺失
值得精读。这是一个典型的“配置丢失”导致的精度 bug 修复,展示了量化配置如何影响模型输出质量。`swiglu_limit_func` 的调用位置、`FusedMoEQuantConfig` 中 clamp 参数的传播路径都很清晰,可作为类似 bug 的修复模板。
参与讨论