#51507 [Perf] Launch the top-k/top-p Triton sampler kernel with 8 warps
原始 PR · 作者 BabyDrangoner · 合并时间 2026-08-11 01:55
采样 Triton kernel 改 8 warps 启动,多架构提速最高 1.85×
代码本身只有 7 行,真正值得精读的是 review 中的跨架构 benchmark 方法论:作者与 reviewer 分别覆盖 SM120、H200、MI350X,并围绕 nw8 vs nw16 做了完整的数值等价性与性能取舍验证。若关心 Triton kernel launch 调优、采样器热路径优化或 arch-conditional 参数决策,可重点读本 PR 的讨论与提交演进;普通业务使用者无需深读。
参与讨论