ARM CPU INT8 融合 MoE 内核,性能提升约 1.9 倍
值得精读,尤其是:微内核实现利用 smmla 指令,提取激活函数减少代码重复,以及 Python 层如何通过 `_supports_current_device` 控制后端选择。
A high-throughput and memory-efficient inference and serving engine for LLMs
ARM CPU INT8 融合 MoE 内核,性能提升约 1.9 倍
值得精读,尤其是:微内核实现利用 smmla 指令,提取激活函数减少代码重复,以及 Python 层如何通过 `_supports_current_device` 控制后端选择。
原始 PR · 作者 Akashcodes732 · 合并时间 2026-07-27 13:47
PowerPC VSX 向量化 expf 优化
该 PR 是 PowerPC 平台的一次有价值的性能优化,代码简洁且经过基准测试验证。建议合并,并可考虑后续添加 exp 数值精度的单元测试。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-27 13:32
CI 测试中显式关闭推测解码 runner
值得合入 — 改进 CI 健壮性,无副作用。
修复 P2P 连接回收后的 EngineCore 崩溃
此 PR 值得精读,展示了系统化调试和分层修复的方法论。三个缺陷的独立识别、每个缺陷的单独验证(对照表中 solo fix 仍然崩溃)、以及测试先行的回归防护,都是高质量 Bug 修复的典范。建议团队将此 PR 作为关键系统代码审查的教学案例。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-27 12:59
修复 ROCm vllm_c RMSNorm 输出非连续问题
本 PR 为定位精准的小范围 bugfix,变更清晰,值得阅读 `vllm/kernels/vllm_c.py` 中的输出创建改进和 `test_layernorm.py` 中的转置输入测试用例。
修复 mHC block-M prenorm GEMM 跨行归约累加器污染
建议尽快合入 main 分支。该 PR 修复了一个严重的计算错误,改动量小且验证充分。值得关注的要点是 tilelang 中 `T.alloc_var` 在循环内的 hoist 行为需要开发者谨慎使用,建议在相关文档或代码注释中提醒。
原始 PR · 作者 zxd1997066 · 合并时间 2026-07-27 12:40
Intel GPU CI 新增多组测试用例
本 PR 是典型的 CI 配置增强,逻辑简单直接,适合作为 Intel GPU CI 配置的参考基线。建议阅读以了解当前 Intel GPU 上的测试覆盖范围,但无需深入审查。
原始 PR · 作者 jcotant-inferact · 合并时间 2026-07-27 12:00
为 Kimi 和 K3 添加自动标签规则
该 PR 属于基础设施改进,逻辑清晰、验证充分,可直接合并。建议审阅者在合并后及时创建 `kimi` 和 `k3` 标签,并在 K3 启动阶段结束后按注释移除 `label-k3` 规则和相关标签。
参与讨论