#33857 [Perf] Skip trivial DSV4 nonpaged indexer logits
原始 PR · 作者 weireweire · 合并时间 2026-08-14 07:21
跳过 DSV4 nonpaged 索引器的平凡行 logits 计算
值得精读。该 PR 展示了如何在保持语义长度的前提下,通过向 kernel 传递空区间跳过无效计算,是一种低成本、可复用的性能优化模式;同时正确地将优化限定在特定后端与开关下,体现了良好的兼容性意识。关注的重点是 `NonPagedIndexerPlan` 的 `ke` 语义变化以及 SGL Top-K 与 DeepGEMM 之间的契约。
参与讨论