#48293 [Doc] Add DeepseekV32ForCausalLM to supported_models.md
原始 PR · 作者 Gavin-Morris-04 · 合并时间 2026-07-14 01:44
文档新增 DeepSeek-V3.2 支持信息
该 PR 是标准的文档同步更新,值得快速批准。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 Gavin-Morris-04 · 合并时间 2026-07-14 01:44
文档新增 DeepSeek-V3.2 支持信息
该 PR 是标准的文档同步更新,值得快速批准。
原始 PR · 作者 stefankoncarevic · 合并时间 2026-07-14 01:28
修复 Transformers 后端 CUDA Graph 捕获时 input_ids 与 inputs_embeds 冲突
该 PR 值得阅读,尤其适合理解 vLLM 中 CUDA Graph 捕获路径与 Transformers 模型之间的交互。关键设计决策:选择在模型层(`Base.forward`)进行防御性检查,而非修改 CUDA Graph 捕获逻辑,从而避免引入更广泛的变动。这是 4 行代码修复经典契约违规的范例。
CPU 编码器缓存卸载连接器
强烈建议精读。`EmbeddingCache` 和 `StepTracker` 的设计模式(延迟同步+FIFO 驱逐)可在类似的双进程卸载场景中复用。调度器与工作器的职责分离为 vLLM 卸载组件提供了清晰架构参考。
原始 PR · 作者 taneem-ibrahim · 合并时间 2026-07-14 00:57
改进 Matryoshka 维度校验与错误消息
此 PR 是典型的代码可维护性改进,建议合并。值得注意的设计决策是:在 Matryoshka 路径中先做范围检查再做精确值检查,分层清晰,值得借鉴。
修复投机解码预填充 CG 捕获的陈旧注意力元数据
该 PR 值得精读,特别是如何通过共享目标模型的持久缓冲区地址来避免运行时注意力元数据重建的设计决策。合并后的 `SpeculatorCudaGraphManager` 简化了捕获逻辑,同时也展示了 FULL CUDA Graph 捕获中元数据一致性的重要性。
原始 PR · 作者 zxd1997066 · 合并时间 2026-07-13 23:11
调整 Intel GPU CI 超时时间
该 PR 为常规 CI 维护,无需精读。关注点在于后续是否需进一步优化测试性能以降低超时需求。
修复 Idefics3 图片处理 channels_last 强制错误
建议合并。该 PR 是一个精准的 bugfix,修复了 transformers 升级带来的平台差异问题,实现简洁、讨论充分、风险低。值得关注的是其对 `backend` 属性的处理模式,可作为多模态处理器中类似条件依赖的标准方案。
修复 CUDA graph 捕获时 KV cache 过度分配
简单但重要的 bugfix,值得快速合入。建议阅读 `_init_minimal_kv_cache_for_profiling` 方法了解 profiling 流程。
参与讨论