#20438 [Perf] Overlap NSA-CP key all-gather with query computation for DeepSeek-V3.2
原始 PR · 作者 Baidu-AIAK · 合并时间 2026-03-24 12:31
通过双流执行重叠NSA CP key all-gather与query计算,提升DeepSeek-V3.2预填充性能。
建议精读此PR以学习双流执行在重叠通信与计算中的应用。关注条件检查逻辑和同步机制的设计,以及性能分析方法如NVIDIA Nsight Systems的使用。
参与讨论