标签列表
聚合结果
原始 PR · 作者 Fangzhou-Ai · 合并时间 2026-09-14 10:36
gfx950 短上下文 top-k 改用单 CTA，selector 提速约 28%
值得精读，尤其是 `_decode_topk_launch_policy` 与两个对应测试用例：它们展示了 ROCm 内核性能调优的严谨姿势（把编译期参数纳入 launch policy、128/129 显式边界、CPU 全序 reference 验证 NaN/Inf/有符号零、图回放验证 counter 重置）。对非 ROCm 开发者参考价值有限，但「只有输出精确一致才允许跳过模型评估」的判断标准和「launch geometry 与算术解耦」的设计思路值得借鉴。合并本身无阻塞，维护者已批准。
原始 PR · 作者 Fangzhou-Ai · 合并时间 2026-09-14 00:56
ROCm 上 MiniMax M3 累积长度首元素改为设备端置零
对 ROCm 性能负责人与 MiniMax M3 维护者值得花 10 分钟精读：读点不在“4 行改动”本身，而在于“同一语义在不同平台选择不同写入原语”的等价性论证，以及 `zero_()` 单元素视图与 `cumsum(out=prefill_cu_seqlens_k[1:])` 的写区不重叠保证。对一般开发者，这是一个很好的案例：ROCm 上普通的 Python 标量赋值可能退化成阻塞式 `hipMemcpyWithStream`，在热路径上应优先使用设备端原地算子。建议后续做两件事：(1) 为 ROCm 侧增加轻量守卫，例如在 CI 中统计 `hipMemcpyWithStream` 调用次数或对元数据构建做微基准门限，避免该分支被重构掉后静默回归；(2) 排查同文件与其它模型目录中相同的标量写入模式，必要时抽取共用 helper。引用结论时请注意 PR 自身并未声称端到端提速，不宜把 727–802 ms 的 host 时间直接解释为吞吐提升。
原始 PR · 作者 Fangzhou-Ai · 合并时间 2026-09-04 04:20
优化 gfx950 上 MiniMax-M3 解码索引与 top-k 选择，提升 10-70% 吞吐量。
这是一个高质量的性能优化 PR，值得精读。其核心设计决策（按实际块数映射工作、共享 index-K 瓦片、融合选择与稀疏表构建）和系统化的测试验证方法（策略单测、比特一致性、图重放、微基准与服务端 A/B 测试）具有很高的借鉴价值。建议重点关注 `index_topk.py` 中的调度策略与内核实现，以及 `indexer.py` 与 `model.py` 中如何扩展接口以实现前向路径融合。