#50327 [ModelRunnerV2] Fix scalar Mamba state update with int32 mappings
原始 PR · 作者 shenoyvvarun · 合并时间 2026-08-04 06:05
修复 MRV2 PP 下 Mamba 标量状态更新的 int32 索引崩溃
值得精读。本 PR 展示了如何用 Triton kernel 绕开 PyTorch op 对索引 dtype 的硬约束,并顺手处理负哨兵条目,是设备端状态更新的一种干净模式;对 MRV2、pipeline-parallel 和混合模型开发者有直接参考价值。
参与讨论