Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-06-04 05:34 同步状态:空闲 下次计划:2026-06-04 06:34

PR 列表

更多筛选
2026-06-03

#44347 [Bugfix] Update TrtLLM MoE routing methods

原始 PR · 作者 wzhao18 · 合并时间 2026-06-03 17:56

缺陷修复 重要性 6.85 洞察度 5.00

修复 TrtLLM MoE 路由方法分类及 dtype 检查

建议尽快合入,以修复 CI 失败和模型兼容性问题。该 PR 展现了精细的路由方法分类调整,可精读 `get_routing_method_type` 的决策树逻辑,了解不同模型的路由模式。

#44388 [Doc] Update ViT CUDA graph interfaces

原始 PR · 作者 shen-shanshan · 合并时间 2026-06-03 16:21

文档 重要性 2.60 洞察度 3.00

更新 ViT CUDA 图文档,同步代码变更

此 PR 是纯粹的文档同步更新,对大多数工程师无需精读。但若您正在使用或开发 ViT CUDA 图系统,建议查看此文档以了解最新的 API 和流程。

缺陷修复 重要性 8.66 洞察度 7.00

修复 HF chat template 渲染的数字精度和字段影子问题

本 PR 值得精读,尤其关注以下要点:(1)如何在不修改 MiniJinja 核心的前提下,通过自定义 Object 和 pycompat 后门解决字段与方法冲突的设计模式;(2)全局 `serde_json` 特性调整时的依赖影响评估思路;(3)测试用例设计中对渲染精度妥协的明确标注。对于同样使用 MiniJinja 渲染 HF 模板的其他项目,此方案具有直接参考价值。

#43778 [Rust Frontend] Add dynamic LoRA endpoints

原始 PR · 作者 Xunzhuo · 合并时间 2026-06-03 15:55

功能 重要性 9.09 洞察度 5.50

Rust 前端新增动态 LoRA 管理端点

该 PR 安全设计充分,并发控制合理,值得团队精读。建议后续补充 CI 中端到端测试,并关注路径验证的 TOCTOU 缓解。

功能 重要性 6.15 洞察度 5.00

Rust 服务端新增路由器扩展钩子

值得阅读以了解 Rust 前端 API 的演进方向。该 PR 展示了如何以最小侵入的方式添加扩展点,设计决策(不暴露内部状态、闭包组合)值得借鉴。

功能 重要性 4.89 洞察度 4.00

移除 HMA 模型在 Tiering Offload 中的限制

该 PR 本身改动极小(仅删除一行),但具有较大的功能影响。建议开发者和测试人员关注新增的兼容模型列表,并对 PR body 中列出的失败模型进行进一步调查。作为“解除封锁”类变更,值得快速合并,但后续应跟进失败模型的 root cause。

参与讨论