Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-07-17
重构 重要性 7.88 洞察度 5.00

拆分层级查找延迟为同步/异步直方图

值得精读,尤其是同步/异步延迟拆分设计、观察时机的决策(allocation vs finish)如何与调度器生命周期对齐。团队其他成员可参考相同模式在其他模块应用。

缺陷修复 重要性 7.02 洞察度 5.00

延迟导入 aiter 避免 ROCm HIP 初始化导致 fork/spawn 问题

建议合并此 PR。它修复了明确的 bug,设计决策合理(延迟导入以避免副作用),且通过了 reviewer 的审核。值得其他可能需要避免启动时初始化 GPU 的模块借鉴。

2026-07-16
性能优化 重要性 7.08 洞察度 5.00

FlashInfer 一侧 combine 直接写入最终输出

建议精读 `combine_into` 方法的实现,它展示了如何通过运行时探测与向后兼容的方式引入新特性。这是一个良好的设计模式,适用于对外部库功能有版本依赖的场景。审阅者可以关注 `supports_kw` 的可靠性和测试覆盖。

功能 重要性 9.18 洞察度 6.00

pooling 离线推理新增多线程预处理与 tiling 重叠调度

值得精读。重点看三点:① request_factory + render 的逐请求流式预处理抽象,如何把批处理拆成可并行单元交给线程池;② _run_tiling_engine 的窗口式调度(max_num_seqs * 2)与异常清理逻辑;③ 作者对 _render_and_run_requests 与 tiling 语义差异的分析,这解释了为什么需要做接口破坏性重构。同时可把 conversations 分支死代码、executor.map 无界提交作为后续跟踪项。

性能优化 重要性 5.68 洞察度 4.00

启用gfx942 split sparse decode,解码性能提升40%

值得合并。性能提升明显,且风险极低。评审已经通过。建议后续关注是否有其他架构(如gfx940)也能受益,但需单独验证。

#47559 [NIXL] Bump nixl to 1.3.1

原始 PR · 作者 ovidiusm · 合并时间 2026-07-16 20:24

基础设施 重要性 1.88 洞察度 1.00

NIXL 库版本从 1.3.0 升级到 1.3.1

低风险、常规依赖升级,可快速合并。无需精读。

参与讨论