#6268 [model, fsdp] fix: honor SP-rolled labels in fused kernels (#6068)
原始 PR · 作者 shivam2199 · 合并时间 2026-05-14 08:27
修复 fused kernels 在 Ulysses SP 下的标签滚动错误
此 PR 是重要的正确性修复,建议所有使用 fused kernels + Ulysses SP 的团队尽快合并并同步至下游分支。同时值得关注的设计决策是:由 engine 统一预滚动标签(而非在 fused forward 中重新计算),保持了单 SP 和多 SP 路径的一致性,避免了类似错误的扩散。
参与讨论