Prhub

vllm-project/vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

监控状态:已开启 最近同步:2026-09-16 17:47 同步状态:空闲 下次计划:2026-09-16 18:47

PR 列表

更多筛选
2026-04-27
缺陷修复 重要性 7.90 洞察度 6.00

修复 SWA 运行时准入与启动池大小计算不一致导致调度死锁

建议仔细阅读此 PR,尤其是单真源设计(singlesource of truth)在 admission 与 pool sizing 间的应用。值得关注的设计决策:将 cap 逻辑置于 manager 内部而非 coordinator 层,避免了 #39866/#40027 中的准入与分配分裂问题。代码实现简洁,注释清晰,适合作为 KV cache 准入逻辑的学习参考。

#40907 [Tests] Gate Isaac under Transformers v5

原始 PR · 作者 SiluPanda · 合并时间 2026-04-27 10:26

测试 重要性 4.59 洞察度 3.00

为 Isaac 模型添加 Transformers v5 版本门控

此 PR 是 Transformers v5 兼容性工作的典型增量——对单个模型添加版本门控。建议精读以理解 `_HfExamplesInfo` 的版本门控模式,便于后续类似问题的快速修复。

缺陷修复 重要性 7.89 洞察度 6.00

MRV2 启用 one-hot 拒绝采样,修复接受率差距

建议所有使用 MRV2 推测解码的同学阅读此 PR,了解新的 `draft_sample_method` 配置及其对接受率和内存的影响。特别值得关注的设计模式是:通过 Triton 编译常量(`HAS_DRAFT_LOGITS`)在编译期分支内核逻辑,无运行时开销。同时关注后续可能的扩展:允许在不缓存 draft logits 的情况下使用随机采样。

缺陷修复 重要性 6.62 洞察度 5.00

自动禁用expandable_segments以兼容cumem内存池

建议精读此PR,特别是`use_memory_pool`的`try/finally`重构和异常安全处理。设计上值得关注的是:在框架API不完善时,用环境变量加私有API实现临时开关;以及通过嵌套上下文管理器保持全局状态一致性的模式。

#40860 [Feat] DeepSeek V4 Rebased

原始 PR · 作者 ivanium · 合并时间 2026-04-27 09:31

功能 重要性 9.48 洞察度 8.00

新增 DeepSeek V4 完整模型支持

值得深入精读。该 PR 展示了大规模模型集成的完整流程,特别关注 `deepseek_v4_attention.py` 中的 MLA 实现、`mhc.py` 的 TileLang kernel 设计,以及量化策略的权衡。评审中关于 API 设计和硬件兼容性的讨论也值得借鉴。

重构 重要性 7.29 洞察度 6.00

禁用 piecewise 编译时的 Sequence Parallelism,仅保留 full-graph 支持

建议所有使用 vLLM 中 torch.compile 与 SP 的开发者和研究员阅读此 PR 的讨论,特别是关于配置降级策略和 pass 断言的设计,了解为何 piecewise 编译下的 SP 不被支持。对于希望开启 SP 的用户,文档应明确告知需要启用 inductor 分区或清空 splitting_ops。

2026-04-26
功能 重要性 6.43 洞察度 5.00

P/D 预填充时全量 offload KV 块

值得精读。PR 虽改动量小(+71/-2),但解决了 P/D 解耦中的关键数据流问题。代码简洁且测试完善,展示了如何通过条件跳过索引更新来实现“全量 offload”语义。对于研究 KV 传输或多节点推理的开发者具有参考价值。

缺陷修复 重要性 6.22 洞察度 5.00

修复 FlashInfer NVLink workspace 未按 EP 组大小分配的错误

此 PR 虽然是简单的单文件改动,但涉及分布式通信中 EP 组与 DP 组区别的核心概念,值得对分布式训练/推理感兴趣的工程师精读。尤其是 PR body 中对 MNNVL workspace 分配机制的分析(CustomCommunicator.Split 的行为、kernel 断言条件等)提供了很好的底层知识。

参与讨论