删除 NormGateLinear 及相关融合内核代码
此 PR 主要是清理操作,值得快速审阅。关注 NVIDIA 和 AMD 模型变更的一致性,并留意 AMD 平台后续是否可融合 norm 到 MHC 以获得性能收益。
A high-throughput and memory-efficient inference and serving engine for LLMs
删除 NormGateLinear 及相关融合内核代码
此 PR 主要是清理操作,值得快速审阅。关注 NVIDIA 和 AMD 模型变更的一致性,并留意 AMD 平台后续是否可融合 norm 到 MHC 以获得性能收益。
原始 PR · 作者 NickLucche · 合并时间 2026-05-25 17:10
精度测试始终打印测量值
值得合入,对调试高方差测试场景有实际帮助,无副作用。
修复MooncakeStore preemption后 request_finished 断言崩溃
该 PR 值得精读,展示了如何在分布式 KV 传输组件中优雅处理 preemption 边界情况,设计决策(重置 tracker 而非移除)和 review 讨论都具有参考价值。
用 Einsum 替换 Sum 减少显存占用
值得合并:这是一个小巧而高效的显存优化,仅修改一行核心表达式,经维护者审核和测试验证。开发者可借此了解如何通过 Einsum 避免广播中间张量的显存爆炸。
新增停滞贡献升级流程说明
建议合并,该文档更新有助于改善社区贡献体验,且已获维护者批准。
支持 DSV4 在 SimpleCPUOffloadBackend
该 PR 值得合并,功能正确且没有已知回归。建议在后续 PR 中补充对 DSV4 混合注意力场景的集成测试(如对 SWA 组的缓存命中率断言)。
支持非root用户运行vLLM Docker容器
本PR设计严谨,考虑了向后兼容性、多种运行场景(固定UID、任意UID、只读挂载)和安全性。对于部署管理员和容器化团队值得精读,尤其是Dockerfile中uv路径迁移技巧和入口包装器的cwd保留逻辑。可以作为如何在现有镜像中安全添加非root支持的范例。
重新组织离线推断文档结构,按 API 功能分类整理
建议直接查阅合并后的文档,了解 vLLM 离线推断的完整 API 分类。此 PR 体现了良好的文档组织模式,可供其他页面参考。
参与讨论