#49486 [DSv4 Perf] Skip topk and router when not needed, 3.4% E2E TTFT improvement for Decode case
原始 PR · 作者 yewentao256 · 合并时间 2026-07-24 01:08
DSv4 短上下文跳过 topk 与 router,TTFT 降低 3.4%
这是一个典型的小改动大收益的性能优化 PR,代码简洁安全。建议重点阅读 Triton kernel 的实现和 cuda graph 兼容性。对于 DeepSeek V4 推理服务,建议合并;后续可考虑增加单元测试覆盖短上下文边界情况。
参与讨论