vllm-project/vllm · 标签视图

新增 trace_decode_token_ids 实现确定性解码重放

值得精读。重点关注：采样后注入再算 logprob 的顺序设计、以 GPU 状态推导 step 避免 CPU 同步、UVA `StagedWriteTensor` 的批量写入模式、以及“配置开关 + 输入归一化 + 统一校验”三层防护。对想扩展 MRV2 sampler 或实现类似重放/调试功能的工程师是很好的参考。合并前建议在 GPU 上跑通 `examples/generate/trace_replay_offline.py` 端到端验证。

Kimi-K3 开启 DCP 部分前缀缓存命中，修复 Mamba 块表越界

值得精读。核心设计决策是"cache identity 而非 virtual-page 或 interleave 几何决定 hash 语义"以及"每种 cache 类型自己负责 CP 感知的块表宽度"，这两个思路对后续 hybrid 模型（attention + mamba）在并行化下的缓存设计有直接借鉴价值。建议按 `kv_cache_coordinator.py` → `model_runner.py` → `block_table.py` 的顺序阅读三个源码文件，再配合 `test_gpu_model_runner_v2.py` 中捕获块表宽度的测试技巧（monkeypatch `get_block_table_width` 并断言两次调用值）理解修复前后差异。

MRV2 支持 Transformers 池化模型正确路由

值得精读，一是理解为什么模型状态路由要从 isinstance 结构检测改为配置属性判定（Transformers 封装层使类型检测失效，配置驱动更稳定、可扩展）；二是借鉴迁移过渡期用环境变量参数化 v1/v2 双 runner 的测试手法。若关注 MRV2 推进路线，建议与 PR#52374、PR#48290 串读。

修复 DSpark 零验证预算下结构化输出 bitmask 行数错配崩溃

值得精读，尤其推荐关注 PR body 中“三种预算机制对比表”的根因拆解方式——它清晰展示了同一个字段在不同分支下语义漂移如何导致 host/device 契约不一致。同时建议关注 LucasWilkinson 在 #52477 中的替代方案，理解“不依赖分支字段”的架构化修复思路。

DSpark 未指定 backend 时继承 target，修复 DSV4 缓存崩溃

值得精读。该 PR 是理解 vLLM 配置装配中 `replace` 语义和 DSpark draft/target 契约的极好案例：`None` 不等于“继承”，而是“重新自动选择”，这类隐式语义是配置 bug 的高发点。建议关注两点：一是合入后跟踪 mgoin 提到的“draft 与 target attention 不同”的模型是否出现回归；二是推动为 `load_dspark_model` 补充“显式继承/显式覆盖”的配置语义与回归测试，避免再次依赖 `None` 的隐式含义。

MRv2 新增 E/P/D 分离部署的 EC 传输支持，PR 最终关闭未合并

值得精读 `ec_connector.py` 的 no-op 抽象与生命周期管理（绑定 metadata、load/save、finally 收敛），这是理解 MRv2 如何扩展外部传输的模板；njhill 的评审展现了'最小化 model_runner 侵入'的维护哲学。但不要直接基于此实现复用：竞态处理、测试覆盖、mixin 与 connector 的职责划分都未定稿，建议跟踪 issue #47999 的后续实现。

恢复 MRV2 多模态 draft 能力检测

值得精读。该 PR 展示了如何用『显式协议 + `TypeIs` 类型守卫』替代运行时试调用探测，把跨模块能力判定收敛到基类 `load_model()`，并借机删除了 Inkling hack；review 中关于反射 vs 显式声明的讨论（NickLucche、DarkLight1337、TQCB、njhill）有实际工程借鉴价值。建议 MRV2 / spec decode 维护者重点 review：1) `supports_mm_inputs` 判定口径的统一；2) Eagle3 等未标记模型的边界行为；3) 后续新增 draft 模型时协议声明的约束。

MRV2 启用 token_embed 并接入 ColBERT 打分

值得精读。重点关注三点：一是「组合 LateInteractionRunner 而非把打分逻辑写进 PoolingRunner」的模块化决策，代码量虽小但扩展性好；二是生命周期钩子的放置顺序与缓存失效语义的精确定义——`finish_requests` 先于 preempted 合并、`reset_encoder_cache` 与 `reset_mm_cache` 的语义区分，都有测试锁定契约；三是 review 中「少改 MRV2 核心文件」的权衡过程，体现了核心模块演进时的改动面控制意识。