#26788 [JIT Kernel] DeepSeek-V4 DSA indexer: faster top-k + page-table transform (runtime k <= 2048)
原始 PR · 作者 DarkSharpness · 合并时间 2026-07-06 11:23
DeepSeek-V4 稀疏 attention JIT top-k kernel 运行时优化,最高 1.5 倍加速
该 PR 是 DeepSeek-V4 推理性能的关键优化,代码质量高(测试覆盖 172 个 case)。值得精读: - `topk_impl.cuh` 中运行时 top-k 的直方图 + 阈值二阶段算法。 - `plan_topk_v2` 的 plan-routed 动态分派逻辑。 - `MaxSmem` 元编程技巧,减少静态共享内存选择。 对于使用 DeepSeek-V4 的团队,建议验证目标 GPU 对 PDL 的支持,并关注未解决的 PDL 触发问题。
参与讨论