优化 EP 模式下 Marlin MoE 的 M 维度估算
PR 逻辑清晰、改动精简,属于高质量的小范围性能优化。建议精读,尤其关注 M 值估算公式的设计思路,未来类似场景可复用此模式。
A high-throughput and memory-efficient inference and serving engine for LLMs
优化 EP 模式下 Marlin MoE 的 M 维度估算
PR 逻辑清晰、改动精简,属于高质量的小范围性能优化。建议精读,尤其关注 M 值估算公式的设计思路,未来类似场景可复用此模式。
修正 BERT 模型的权重层别名映射
该 PR 展示了处理模型权重加载时的通用模式:通过 `WeightsMapper` 修正前缀并添加 `params_dict` 不在时的跳过逻辑。值得模型加载相关开发者阅读;`deep_gemm_warmup.py` 的修复也对跨平台兼容性有参考价值。
原始 PR · 作者 LucasWilkinson · 合并时间 2026-07-10 05:43
修复 cargo-deny 0.20 CLI 参数顺序
简单必要的 CI 修复,无需精读,但可作为处理上游工具 CLI 变更的示例。
回滚导致 CI 失败的 CUDA graph 预热变更
该 PR 是紧急修复 CI 失败的临时措施,值得关注其后续可能的重新实现或替代方案。对于 AMD CI 稳定性有直接改善。
原始 PR · 作者 LucasWilkinson · 合并时间 2026-07-10 04:19
提升 extract_hidden_states_tp2 测试超时
建议合并。此 PR 是轻量级的 CI 稳定性修复,无副作用。但建议团队关注 Transformers 升级后测试时间增加的根本原因,避免未来类似问题。
修复 ROCm sparse MLA 元数据同步竞态条件
该 PR 值得精读。它展示了一个典型的 CUDA graph replay 下异步操作同步问题的修复模式:在 graph-captured kernel 依赖的异步写入后插入 synchronize。测试用例的设计(使用 mock 验证调用顺序)也是良好实践,适合作为异步同步单元测试的参考。
MC 前缀查找中延迟 SWA 掩码检查,节省 59% key 构建时间
值得精读,尤其是对分布式前缀缓存和 MoE 稀疏注意力场景感兴趣的同学。该 PR 展示了 profiling 驱动的微观优化思路:在 hot path 上消除每个被掩码 chunk 的不必要分配,实测收益显著。新增测试的设计(用 RecordingBlockHashes 记录访问索引)也是一个可复用的测试模式。
原始 PR · 作者 tvirolai-amd · 合并时间 2026-07-10 03:35
ROCm sparse MLA 启用 UNIFORM_BATCH CG 模式
值得精读,特别是理解 CUDA Graph 模式选择对多 token 预测性能的影响,以及如何通过简单配置对齐不同后端的行为。对于关注 ROCm 性能优化的开发者有借鉴意义。
参与讨论