修复 GLM-5.1 在 ROCm 上的 MLA 头部填充问题
该 PR 值得仔细阅读,特别是 AiterMLAHelper 类的设计——将特定后端的特殊需求集中管理,避免散落在各个 forward 方法中。建议未来在 AITER 上游修复后及时移除 workaround(参见代码中的 TODO)。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复 GLM-5.1 在 ROCm 上的 MLA 头部填充问题
该 PR 值得仔细阅读,特别是 AiterMLAHelper 类的设计——将特定后端的特殊需求集中管理,避免散落在各个 forward 方法中。建议未来在 AITER 上游修复后及时移除 workaround(参见代码中的 TODO)。
支持 Python 3.14 构建
建议合并,因为这是支持新 Python 版本的必要步骤,且已通过基础测试验证。但需在 Python 3.14 稳定发布后完善 CI 覆盖和分布式支持。
原始 PR · 作者 alex-jw-brooks · 合并时间 2026-04-25 00:30
vLLM CLI 支持 --omni 参数委托给 vLLM Omni
值得精读,尤其是关注 CLI 入口点设计和避免包冲突的技术决策;也可作为多包协作时“显式委托替代 hijack”的范例。建议后续补充测试,并跟踪插件机制的演进。
原始 PR · 作者 labAxiaoming · 合并时间 2026-04-24 23:26
为 context extension 添加 YaRN 方法文档
该 PR 为纯文档更新,内容简洁实用,值得作为 vLLM 特性文档的参考样例。
合并2D/3D注意力内核,提取共享辅助函数
建议精读此PR,特别是提取共享函数和使用constexpr条件编译的模式,这对其他Triton内核的维护具有参考价值。
原始 PR · 作者 jinzhen-lin · 合并时间 2026-04-24 21:29
引入Humming JIT量化内核,支持多种量化格式
该PR是一次有意义的实验性集成,展示了将外部量化库引入vLLM的可行路径。对于阅读者,建议关注:①如何在`linear.py`中支持padding和float pack_factor;②Humming惰性导入的模式;③通过环境变量传递复杂JSON配置的方式。 但应关注review中遗留的设计问题:在线量化应尽量与`fp8.py`的`Fp8OnlineLinearMethod`对齐,MoE部分应考虑注册到kernel oracle而非直接绑定。此外,测试覆盖不足是主要短板,未来迭代应优先补充。综合来看,该PR适合需要探索新型量化的工程师精读,但生产环境中应谨慎启用。
使NIXL EP后端正确使用batched-expert激活格式和路由表
建议精读,该PR展示了通过属性抽象消除重复条件、提升可维护性的良好实践。值得关注的是`needs_round_robin_routing_tables`与`use_batched_activation_format`的语义分离决策,以及review中关于shared_experts条件可简化的洞见。
支持多 KV 组查找,移除单组限制
建议关注此 PR 的设计模式:如何逐步移除单组限制并引入循环。核心变更集中在单一文件,逻辑清晰,但缺少测试覆盖。后续系列 PR 需要密切配合验证。建议在合并前补充集成测试。
参与讨论