Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-08-21 18:24 同步状态:空闲 下次计划:2026-08-21 19:24

PR 列表

更多筛选
2026-06-03
缺陷修复 重要性 8.69 洞察度 7.00

修复 EAGLE+SWA 前缀缓存掩码丢失 lookahead 块

值得所有关注 vLLM 前缀缓存和推测解码的开发者精读。特别是设计权衡:如何在保留优化收益的同时修复边界情况,以及如何通过共享逻辑确保掩码与查找同步。此外,`SpecGroup` 的引入为后续多 spec 组管理提供了更清晰的数据结构。

重构 重要性 3.94 洞察度 2.00

移除 cudagraph_utils 中冗余的 graph_pool 赋值

该 PR 是简单的清理工作,不值得精读。但值得关注的设计决策:BreakableCUDAGraphWrapper 统一通过 current_platform.get_global_graph_pool() 获取 pool,符合单一职责原则。

基础设施 重要性 3.29 洞察度 1.00

升级 actions/github-script from v8 to v9

建议合并后观察 CI 状态,无需深入审查代码。若后续 workflow 脚本需要调用 getOctokit,可参考 v9 文档。

功能 重要性 6.71 洞察度 5.00

MRV2 支持 Llama 与 Mistral 密集模型

建议在合并后密切监控 Llama/Mistral 相关测试的稳定性,并优先处理 force_v1_runner 的环境变量覆盖问题。该 PR 值得精读,展示了 MRV2 激活的标准流程测试适配模式。

缺陷修复 重要性 7.09 洞察度 6.00

支持 Anthropic messages 数组内嵌 system 角色

建议精读该 PR,特别是 system 消息合并逻辑和其潜在的 KV-cache 性能影响。对于上游服务,可考虑等待 #44602 的更优方案或评估自身场景是否受前缀变更影响。

#43339 [Feature] Support EPLB for DeepSeek v4 Mega Moe

原始 PR · 作者 wzhao18 · 合并时间 2026-06-03 01:56

功能 重要性 8.58 洞察度 6.00

支持 DeepSeek V4 Mega MoE 的 EPLB 负载均衡

值得精读。本 PR 是专家并行负载均衡在 DeepSeek V4 Mega MoE 上的首次部署,展示了逻辑-物理专家映射、冗余专家支持以及后端协作的典型设计。review 讨论中对 NCCL 与 EPLB 协作的深入分析对理解分布式推理的挑战很有帮助。

#43100 [BugFix] Fix Humming MoE deploy error

原始 PR · 作者 adotdad · 合并时间 2026-06-03 00:32

缺陷修复 重要性 5.32 洞察度 3.00

修复 Humming MoE 部署时 quant config 与 schema 初始化遗漏

建议合并。该 PR 修复了明确的部署阻塞 bug,改动量小且经过本地验证。建议后续为该路径补充测试,防止回归。

参与讨论