#49815 [Bugfix][MiMo] Apply vision attention sinks in the window attention path
原始 PR · 作者 almogtavor · 合并时间 2026-08-11 06:36
修复 MiMo 窗口注意力路径丢失视觉 sinks
值得精读。两个设计决策很有参考价值:一是用误差表量化区分两种 sinks 语义(key 0 偏置 vs null logit),避免把 `s_aux` 当作等价实现直接接入;二是选择「内核内一步修正」而非「事后 LSE 修正」,以可维护性为优先,并配套性能数据(2-4 倍加速)证明取舍。对多模态模型接入自定义注意力语义、以及向 Triton 内核扩展可选模式的团队有直接借鉴意义。
参与讨论