#49915 [CI][ROCm] Reduce kernel test runtime
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-27 14:44
ROCm 内核测试运行时优化,过滤无效配置并提升并行度
建议精读 `test_fused_quant_layernorm.py` 中的参数化重构方法,该模式可推广到其他使用大量 `pytest.skip` 的测试套件中。CI 并行度调整可作为后续同类优化的参考。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-27 14:44
ROCm 内核测试运行时优化,过滤无效配置并提升并行度
建议精读 `test_fused_quant_layernorm.py` 中的参数化重构方法,该模式可推广到其他使用大量 `pytest.skip` 的测试套件中。CI 并行度调整可作为后续同类优化的参考。
原始 PR · 作者 Zhenzhong1 · 合并时间 2026-07-27 14:26
为 INC 添加 MXFP8 线性层支持
建议 INC 量化相关维护者关注 `assert` 替换为 `raise` 的潜在风险,并考虑是否在未来的 PR 中统一迁移。新增的 MXFP8 方案设计清晰(Scheme 线性分离),适合作为其他量化格式扩展的参考。
原始 PR · 作者 Dao007forever · 合并时间 2026-07-27 14:22
支持子块提示的可靠部分尾部 KV 卸载
**建议精读**。该 PR 展示了在混合模型场景下,如何通过分离 hash 粒度与块粒度来实现精确的部分缓存命中。设计上采用了 CoW 目标块暴露、pin 机制、卸载进度分离等手法,技术值得借鉴。对于维护 MooncakeStore 或类似 KV offload 系统的工程师尤其重要。
AMX C++ 内核优化 CPU 推测解码 GDN 卷积路径,MTP 吞吐提升约 18%
建议仔细审阅 `gdn_attention.py` 中 `_spec_forward` 从逐序列循环到批量内核调用的重构模式,以及状态缓冲区滚动策略。对于在 CPU 上开发推测解码或类似 Mamba 结构内核的工程师具有参考价值。同时注意 `num_accepted_tokens` 参数的引入如何使推理引擎能够处理不同序列已接受 draft token 数不同的情况。
ARM CPU INT8 融合 MoE 内核,性能提升约 1.9 倍
值得精读,尤其是:微内核实现利用 smmla 指令,提取激活函数减少代码重复,以及 Python 层如何通过 `_supports_current_device` 控制后端选择。
原始 PR · 作者 Akashcodes732 · 合并时间 2026-07-27 13:47
PowerPC VSX 向量化 expf 优化
该 PR 是 PowerPC 平台的一次有价值的性能优化,代码简洁且经过基准测试验证。建议合并,并可考虑后续添加 exp 数值精度的单元测试。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-27 13:32
CI 测试中显式关闭推测解码 runner
值得合入 — 改进 CI 健壮性,无副作用。
修复 P2P 连接回收后的 EngineCore 崩溃
此 PR 值得精读,展示了系统化调试和分层修复的方法论。三个缺陷的独立识别、每个缺陷的单独验证(对照表中 solo fix 仍然崩溃)、以及测试先行的回归防护,都是高质量 Bug 修复的典范。建议团队将此 PR 作为关键系统代码审查的教学案例。
参与讨论