#36094 [AMD][DSV4] perf: retune decode split-K heuristic for MI355X
原始 PR · 作者 karverma-amd · 合并时间 2026-08-29 04:48
调优 DSv4 split-K 启发式,MI355X 解码内核提速 20.8%
值得精读。这是一个小而完整的性能调优案例:用几何平均遗憾量化启发式偏差、识别 CUDAGraph 捕获期无法感知 per-token K 的根本限制,并用契约测试固定不变量而非数值。对 AMD 性能工作和 attention 内核开发者有直接参考价值,尤其是 `test_tuned_operating_points` 显式传参跨运行器的做法。
参与讨论