Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-05-09

#40867 [LoRA] Initial EP support for LoRA

原始 PR · 作者 jeejeelee · 合并时间 2026-05-09 15:31

功能 重要性 8.46 洞察度 6.00

为 LoRA MoE 添加初始 Expert Parallelism 支持

本 PR 值得所有关注 MoE + LoRA 联合优化的开发者精读。核心设计亮点包括:通过 `extra_tensors` 机制扩展 all-to-all 调度以携带元数据;通过 `local_token_lora_mapping` 保留了 rank 本地的 LoRA 映射;通过断言检查避免了与 `fully_sharded_loras` 的冲突。review 中关于切片时机的讨论也反映了 vLLM 中数据编排的常见模式。

#40380 Require C++20 for compatibility with PyTorch

原始 PR · 作者 r-barnes · 合并时间 2026-05-09 13:04

基础设施 重要性 3.34 洞察度 5.00

C++标准从17升级到20以兼容PyTorch

建议精读该PR,尤其是评论中关于PyTorch C++标准演进方向的讨论。它反映了下游项目如何应对上游依赖的breaking change,对于维护大型分布式系统具有参考价值。

缺陷修复 重要性 5.71 洞察度 5.00

修复 GLM 非流式工具解析器去除首尾空格

建议精读。这是一个典型的细小但重要的 bugfix,展示了如何通过审慎的条件判断解决语义边界问题。其改动模式(从"统一 strip"到"根据类型条件化 strip")值得学习。此外,review 中关于 `_is_string_type` 的讨论指出了进一步改进方向。

#42078 [Models] Cohere Eagle + fix to Cohere MoE

原始 PR · 作者 Terrencezzj · 合并时间 2026-05-09 12:46

功能 重要性 9.00 洞察度 5.00

添加 Cohere Eagle 推测解码模型并修复 Cohere MoE

建议精读 `cohere_eagle.py` 的 `__init__` 和 `forward`,理解 EAGLE 草稿模型的融合机制;同时关注 `select_norm_impl` 的动态归一化选择设计。该 PR 是 vLLM 集成新推测解码模型的标准范例,值得参考。

缺陷修复 重要性 6.44 洞察度 5.00

修复 AITER MoE 权重 shuffle 标记丢失

值得合并。修复逻辑清晰,与 Quark MoE 的既有做法一致(`quark_moe.py:1286-1287`),已在真实硬件上验证。建议如果后续有同类 `replace_parameter` 模式,可将其封装为通用工具函数。

缺陷修复 重要性 6.67 洞察度 5.00

使用dist-info注册修复XPU/ROCm上logitproc测试的spawn兼容性

本 PR 虽然只涉及测试代码,但采用的通过磁盘 dist-info 包模拟 entrypoint 注册的方案具有通用性,未来需要实现多进程环境下的 entrypoint 测试时可借鉴。同时,cross-platform 的 fork/spawn 策略设计清晰,值得测试架构开发者精读。

#42130 Add @Harry-Chen in CODEOWNERS

原始 PR · 作者 Harry-Chen · 合并时间 2026-05-09 12:08

基础设施 重要性 2.79 洞察度 2.00

添加 @Harry-Chen 为 CODEOWNERS

这是一个简单的运维变更,值得精读程度低。但可作为 CODEOWNERS 用法的参考:注意路径锚定和一致性。

参与讨论