Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-06-04 10:58 同步状态:空闲 下次计划:2026-06-04 11:58

PR 列表

更多筛选
2026-05-10
性能优化 重要性 6.16 洞察度 7.00

KV cache 批量交换使用 ACCESS_ORDER_ANY 提升带宽

值得精读,特别是关于 CUDA DMA ordering 的讨论和细粒度性能优化的实践。设计决策(何时放松 ordering、何时保留)可作为类似场景的参考。

重构 重要性 6.12 洞察度 5.00

泛化 CLI 可选布尔/字符串参数处理

值得精读。该 PR 虽小,但展示了一个很好的代码去特化(despecialization)模式:将散落的局部处理逻辑统一收拢到基础设施函数中,降低维护成本。对于 CLI 参数类型推断的设计有参考价值。

缺陷修复 重要性 7.73 洞察度 7.00

修复多模态模型 SP 和 PP+SP residual 处理 bug

值得精读的设计:residual 切片使用 `tp_rank` 感知的索引,以及 `sync_and_gather_intermediate_tensors` 中通过 all-gather 保证 SP + PP 兼容性。此外,团队对三种方案的权衡分析展现了良好的设计思维。建议关注后续 #36823 和 MoE SP 相关 PR。

功能 重要性 9.18 洞察度 7.00

为 AsyncTP 添加 NVFP4 all-gather GEMM 融合路径

推荐精读,尤其关注 `collective_fusion.py` 中 `FlashInferAllGatherFP4Pattern` 的 `pattern` 与 `replacement` 设计,以及 `sequence_parallelism.py` 中 NVFP4 量化与序列平行的整合方式。对推理性能优化感兴趣的同学可以关注 reduce-scatter 融合的后续进展。

参与讨论