#26929 Add stochastic rounding for FP16 Mamba SSM cache
原始 PR · 作者 danielafrimi · 合并时间 2026-06-29 16:47
为 Mamba SSM 缓存添加随机舍入支持
值得关注的设计决策是随机舍入在两个后端中的统一抽象——通过 `ssu_dispatch.py` 的工厂函数将 SR 参数注入后端构造,使得上层调度器无需关心具体精度策略。同时,PR 中 Triton 内联 PTX 的用法为未来类似低精度运算提供了参考模式。但必须强调,PTX 操作数顺序的 bug 尚未确认是否已在合并前修复(代码 head 仍为错误顺序),建议尽快审查并修复该问题。
参与讨论