Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-05-25

#43554 [Kernel] Remove NormGateLinear

原始 PR · 作者 jeejeelee · 合并时间 2026-05-25 17:49

重构 重要性 8.75 洞察度 4.00

删除 NormGateLinear 及相关融合内核代码

此 PR 主要是清理操作,值得快速审阅。关注 NVIDIA 和 AMD 模型变更的一致性,并留意 AMD 平台后续是否可融合 norm 到 MHC 以获得性能收益。

缺陷修复 重要性 6.86 洞察度 5.00

修复MooncakeStore preemption后 request_finished 断言崩溃

该 PR 值得精读,展示了如何在分布式 KV 传输组件中优雅处理 preemption 边界情况,设计决策(重置 tracker 而非移除)和 review 讨论都具有参考价值。

#42933 Reduce memory usage for granite_speech.

原始 PR · 作者 Yihuki · 合并时间 2026-05-25 14:12

性能优化 重要性 5.43 洞察度 4.00

用 Einsum 替换 Sum 减少显存占用

值得合并:这是一个小巧而高效的显存优化,仅修改一行核心表达式,经维护者审核和测试验证。开发者可借此了解如何通过 Einsum 避免广播中间张量的显存爆炸。

功能 重要性 6.57 洞察度 5.00

支持 DSV4 在 SimpleCPUOffloadBackend

该 PR 值得合并,功能正确且没有已知回归。建议在后续 PR 中补充对 DSV4 混合注意力场景的集成测试(如对 SWA 组的缓存命中率断言)。

功能 重要性 6.55 洞察度 6.00

支持非root用户运行vLLM Docker容器

本PR设计严谨,考虑了向后兼容性、多种运行场景(固定UID、任意UID、只读挂载)和安全性。对于部署管理员和容器化团队值得精读,尤其是Dockerfile中uv路径迁移技巧和入口包装器的cwd保留逻辑。可以作为如何在现有镜像中安全添加非root支持的范例。

#43552 [Docs] Reorganize offline inference docs.

原始 PR · 作者 noooop · 合并时间 2026-05-25 13:44

文档 重要性 3.66 洞察度 3.00

重新组织离线推断文档结构,按 API 功能分类整理

建议直接查阅合并后的文档,了解 vLLM 离线推断的完整 API 分类。此 PR 体现了良好的文档组织模式,可供其他页面参考。

参与讨论