Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-04-25

#40763 [Bug] Fix GLM-5.1 running error on ROCm platform

原始 PR · 作者 qli88 · 合并时间 2026-04-25 03:54

缺陷修复 重要性 7.24 洞察度 5.00

修复 GLM-5.1 在 ROCm 上的 MLA 头部填充问题

该 PR 值得仔细阅读,特别是 AiterMLAHelper 类的设计——将特定后端的特殊需求集中管理,避免散落在各个 forward 方法中。建议未来在 AITER 上游修复后及时移除 workaround(参见代码中的 TODO)。

基础设施 重要性 4.45 洞察度 3.00

支持 Python 3.14 构建

建议合并,因为这是支持新 Python 版本的必要步骤,且已通过基础测试验证。但需在 Python 3.14 稳定发布后完善 CI 覆盖和分布式支持。

重构 重要性 7.01 洞察度 5.00

vLLM CLI 支持 --omni 参数委托给 vLLM Omni

值得精读,尤其是关注 CLI 入口点设计和避免包冲突的技术决策;也可作为多包协作时“显式委托替代 hijack”的范例。建议后续补充测试,并跟踪插件机制的演进。

2026-04-24
重构 重要性 7.13 洞察度 6.00

合并2D/3D注意力内核,提取共享辅助函数

建议精读此PR,特别是提取共享函数和使用constexpr条件编译的模式,这对其他Triton内核的维护具有参考价值。

功能 重要性 9.18 洞察度 6.00

引入Humming JIT量化内核,支持多种量化格式

该PR是一次有意义的实验性集成,展示了将外部量化库引入vLLM的可行路径。对于阅读者,建议关注:①如何在`linear.py`中支持padding和float pack_factor;②Humming惰性导入的模式;③通过环境变量传递复杂JSON配置的方式。 但应关注review中遗留的设计问题:在线量化应尽量与`fp8.py`的`Fp8OnlineLinearMethod`对齐,MoE部分应考虑注册到kernel oracle而非直接绑定。此外,测试覆盖不足是主要短板,未来迭代应优先补充。综合来看,该PR适合需要探索新型量化的工程师精读,但生产环境中应谨慎启用。

#40412 fused_moe: treat NIXL EP as batched experts

原始 PR · 作者 itayalroy · 合并时间 2026-04-24 21:05

缺陷修复 重要性 6.03 洞察度 6.00

使NIXL EP后端正确使用batched-expert激活格式和路由表

建议精读,该PR展示了通过属性抽象消除重复条件、提升可维护性的良好实践。值得关注的是`needs_round_robin_routing_tables`与`use_batched_activation_format`的语义分离决策,以及review中关于shared_experts条件可简化的洞见。

功能 重要性 7.01 洞察度 5.00

支持多 KV 组查找,移除单组限制

建议关注此 PR 的设计模式:如何逐步移除单组限制并引入循环。核心变更集中在单一文件,逻辑清晰,但缺少测试覆盖。后续系列 PR 需要密切配合验证。建议在合并前补充集成测试。

参与讨论