Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-07-27

#49915 [CI][ROCm] Reduce kernel test runtime

原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-27 14:44

基础设施 重要性 5.87 洞察度 4.00

ROCm 内核测试运行时优化,过滤无效配置并提升并行度

建议精读 `test_fused_quant_layernorm.py` 中的参数化重构方法,该模式可推广到其他使用大量 `pytest.skip` 的测试套件中。CI 并行度调整可作为后续同类优化的参考。

#47514 [Quantization][INC]Add MXFP8 Linear Support

原始 PR · 作者 Zhenzhong1 · 合并时间 2026-07-27 14:26

功能 重要性 9.00 洞察度 5.00

为 INC 添加 MXFP8 线性层支持

建议 INC 量化相关维护者关注 `assert` 替换为 `raise` 的潜在风险,并考虑是否在未来的 PR 中统一迁移。新增的 MXFP8 方案设计清晰(Scheme 线性分离),适合作为其他量化格式扩展的参考。

功能 重要性 8.67 洞察度 7.00

支持子块提示的可靠部分尾部 KV 卸载

**建议精读**。该 PR 展示了在混合模型场景下,如何通过分离 hash 粒度与块粒度来实现精确的部分缓存命中。设计上采用了 CoW 目标块暴露、pin 机制、卸载进度分离等手法,技术值得借鉴。对于维护 MooncakeStore 或类似 KV offload 系统的工程师尤其重要。

性能优化 重要性 8.00 洞察度 6.00

AMX C++ 内核优化 CPU 推测解码 GDN 卷积路径,MTP 吞吐提升约 18%

建议仔细审阅 `gdn_attention.py` 中 `_spec_forward` 从逐序列循环到批量内核调用的重构模式,以及状态缓冲区滚动策略。对于在 CPU 上开发推测解码或类似 Mamba 结构内核的工程师具有参考价值。同时注意 `num_accepted_tokens` 参数的引入如何使推理引擎能够处理不同序列已接受 draft token 数不同的情况。

#48637 [CPU][Perf] INT8 Fused MoE Kernel for Arm CPUs

原始 PR · 作者 fadara01 · 合并时间 2026-07-27 13:53

功能 重要性 9.18 洞察度 6.00

ARM CPU INT8 融合 MoE 内核,性能提升约 1.9 倍

值得精读,尤其是:微内核实现利用 smmla 指令,提取激活函数减少代码重复,以及 Python 层如何通过 `_supports_current_device` 控制后端选择。

#49571 [Hardware][Power] Add FAST_EXP for Power

原始 PR · 作者 Akashcodes732 · 合并时间 2026-07-27 13:47

性能优化 重要性 5.53 洞察度 4.00

PowerPC VSX 向量化 expf 优化

该 PR 是 PowerPC 平台的一次有价值的性能优化,代码简洁且经过基准测试验证。建议合并,并可考虑后续添加 exp 数值精度的单元测试。

缺陷修复 重要性 7.44 洞察度 6.00

修复 P2P 连接回收后的 EngineCore 崩溃

此 PR 值得精读,展示了系统化调试和分层修复的方法论。三个缺陷的独立识别、每个缺陷的单独验证(对照表中 solo fix 仍然崩溃)、以及测试先行的回归防护,都是高质量 Bug 修复的典范。建议团队将此 PR 作为关键系统代码审查的教学案例。

参与讨论