Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

dp-attention 相关 PR

2026-08-20
缺陷修复 重要性 5.92 洞察度 5.00

修复 DP attention 下 Nemotron-H Mamba CUDA graph 崩溃

值得精读,因为它展示了 DP attention 与 CUDA graph 后端交互时的关键坑点及修复模式,尤其对从事模型推理内核和 CUDA graph 优化的工程师有参考价值。关注点:如何将 eager 路径与 CUDA graph 路径统一,以及 `fuse_mlp_allreduce` 在 DP 下的特殊处理。