Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-07-14
缺陷修复 重要性 5.58 洞察度 6.00

修复 RDNA GPU 上 GDN KKT 内核编译时间爆炸问题

值得精读,尤其是对 Trtion 内核性能调优感兴趣的读者。本 PR 展示了如何规避 Triton-on-ROCm 的编译降级问题,并展示了条件编译和平台检测的最佳实践。同时,也反映了当工具链(Triton)存在 bug 时,如何通过快速、精准的工作区恢复性能。

功能 重要性 9.18 洞察度 6.00

ROCm RDNA 混合 W4A16 内核,解码 HIP 瘦 GEMM + 预填 Triton

建议精读以理解混合内核设计模式(统一权重布局、批量感知路由)和性能分析工具使用。但需注意 review 中指出的 LDS 硬编码、group_size 64 缺失和 bias 索引问题,应提交 follow-up PR 修复后再投入生产。

性能优化 重要性 6.51 洞察度 5.00

MiniMax-M2 融合 QK-norm+AllReduce ROCm 路径

该 PR 设计清晰,值得关注其简洁的 dispatch 模式和 review 中讨论的“快速失败”哲学。对于其他需要为特定硬件添加融合内核的开发者有参考价值。建议精读以理解如何安全地集成第三方 kernel 库。

#44462 up FI fp8 moe topk to 32

原始 PR · 作者 DanBlanaru · 合并时间 2026-07-14 10:58

功能 重要性 4.71 洞察度 2.00

FlashInfer FP8 MoE topk 上限升至 32

该 PR 变更简单直接,可供快速合入。建议后续补充 topk=32 的专项测试,以提升覆盖信心。

功能 重要性 9.18 洞察度 6.00

为稀疏 MLA 短序列新增密集 MHA 预填充路径

建议阅读 `mla_attention.py` 中的路由逻辑和 `sparse_mla_attention.py` 中的共享实现,理解如何在 vLLM 中为注意力后端添加条件优化路径。特别关注 `use_mha` 的决策条件以及 `SparseMLACommonMetadataBuilder` 的 workspace 分配策略。由于本 PR 是系列中的第 1 部分,关注后续 PR 中如何扩展此机制至 masked MHA。

功能 重要性 6.88 洞察度 5.00

支持 Intel XPU INT2 权重量化

值得关注的设计决策是 int2 强制依赖 ARK 而不提供 fallback,这简化了代码但限制了可移植性。评审中的模型规模和版本锁定讨论也具参考价值。建议阅读 `inc_wna16_scheme.py` 的条件逻辑和测试覆盖策略。

#48287 add pad-aware swiglu limit kernel

原始 PR · 作者 gnovack · 合并时间 2026-07-14 07:48

功能 重要性 8.19 洞察度 5.00

新增填充感知的 SwiGLU limit Triton 内核

此 PR 值得精读,特别是 Triton kernel 的设计模式(persistent row、列分块)以及如何通过 `topk_ids` 和 `expert_map` 实现填充感知。设计决策上将 pad-aware 功能无缝集成到现有接口中,保持向后兼容,是很好的工程实践。建议后续补充正式的单元测试。

参与讨论