vllm-project/vllm · 标签视图

Gumbel 采样改用 Murmur3，修复尾部概率偏差

值得精读，尤其是三处「跨后端数值可移植性」的设计：`murmur3_uniform32` 的 split-16 精确构造（用两个可精确表示的半部绕开后端 uint32→fp32 转换）、`murmur3_uniform64` 用 `domain=0x9E3779B9` 拼 53 位并显式打开右端点、`_log1p_neg_stable` 的分段多项式替代 libdevice log1p。阅读时建议重点验证四点：`h = (seed ^ seed)` 与 `h ^ 16` 是否为有意为之；`u → 1` 退化分支的噪声下限是否可接受；删除入口测试的「交错完成」断言是否应由别的测试补位；性能数字是否会在最终 head 上复现。对维护者的动作建议：在 release note 中显式提示 seeded 非 greedy 输出序列变更，并补一条 `u → 1` 端点的数值回归测试。

SWA offload 覆盖补齐 MTP 保留 token

值得精读，尤其是做 KV offload、hybrid KV cache 管理或 MTP 推测解码的工程师。建议重点关注三处设计决策：(1) `get_sliding_window_size_in_chunks` 中 `max(base, cdiv(window - 1 + extra_retained_tokens, chunk))` 的写法——为什么要用 `-1` 与外层 `max`，它决定了「保留 1 个 token 不额外多要 chunk」；对应测试 `test_swa_alignment_skip` 断言 2 与 3 的分界；(2) `_reachable_store_block_mask` 用 `dataclasses.replace` 造临时 coverage spec，把「放宽 store 掩码」与「不改变模型注意力窗口」两件事解耦，这是本 PR 最值得借鉴的模式；(3) 测试从硬编码 `boundary == 3904` 改为按 `first_retained_block` 推导 `needs_left`，把失败场景从特例变成契约。阅读时应同时打开 Issue #56701 的失败表格与 `tests/v1/kv_connector/unit/offloading_connector/test_scheduler.py` 的参数化矩阵。若你负责性能，请补测 SWA store 体积上升在真实长上下文负载下对 CPU 缓存命中率的影响。

DSpark KV 插入改走零查询头 KV-only 算子

值得精读，尤其是要改 KV cache 写入、融合内核或投机解码插入路径的工程师。 优先关注三处设计决策：一是用 `kNumHeadsQPadded == 0` 复用既有三条内核路径而不是新写 KV kernel，收益来自 RoPE 舍入与量化行为天然一致，代价是模板参数与网格逻辑要额外小心；二是把记录宽度从 Python 属性搬到 C++ 侧由 cache 张量形状推导，降低了与 attention 层属性命名的耦合；三是把输入校验从隐式约定改成 wrapper 里的 `STD_TORCH_CHECK`，让错误在算子入口立刻暴露。 阅读时要带着两个坑：网格选择在零查询头下的退化只在 >16k token 单次插入时显现，512/2048 token 的微基准会掩盖它；以及测试只对 dummy-query 基线做逐字节相等，不等于与模型参考实现数值等价。建议后续把与 #55654 重复的 uint8 API 收敛，并补一条 ≥ `NUM_TOKEN_CUTOFF` 的大 token 插入测试，以及 fp8 缺 scale、非法 dtype 的报错路径测试。

修复 P/D 下多模块 MTP 未验证 draft 污染 KV cache

值得精读，尤其适合关注 P/D 架构、KV connector 与投机解码交叉区域的工程师。核心设计决策是“把跨模块的 lookahead 推导收敛为单一属性 + 单一 backoff 函数”，并以 max 组合语义兼容 Mamba 与 MTP 两类 drafter，这种消除重复推导、防止契约漂移的思路可直接借鉴。基准数据完整（含逐 position 接受率），可作为同类性能修复 PR 的范本。

统一 h2d 异步复制工具，删除 async_copy_to_gpu

值得精读。重点关注 `async_tensor_h2d` 的 staged+pinned 设计（为什么 `pin_memory()` 返回新张量后还需要显式 stage 到连续 pinned 缓冲区）以及 `CpuGpuBuffer.copy_to_gpu` 对 FlashInfer 等后端的封装方式。对于后续做输入路径性能优化或接入新模型的工程师，建议直接统一使用 `async_tensor_h2d`，避免再次引入重复的拷贝工具。

用真实配置类修复 Qwen3 Omni DSpark 测试夹具

值得快速浏览而非精读：核心价值不在 3 行 diff，而是一个可复用的测试维护模式——mock 只覆盖被测对象，生产配置契约用真实默认对象承担，避免 mock 漂移。若想深入理解，应结合 #56387 的 `_get_dspark_parallel_config` 与 EPLB 状态初始化逻辑一起阅读，本 PR 是它的测试侧补全。

ROCm Aiter MLA 支持非因果 draft 解码

值得精读，尤其是维护 ROCm/MLA 后端的同学。建议按三条线索阅读：(1) `AiterMLABackend.supports_non_causal()` 的「Python 签名 + per-arch manifest」双层判定——它说明了 AITER 的 Python 接口与 ASM kernel 表不同步这一结构性问题；(2) `AiterMLAMetadataBuilder` 把 `_decode_causal` 放在 per-ubatch 实例上、而不是扩展共享 `_build_decode` 契约的重构（commit `5d9817e6`），是避免为 AMD 专有需求改动 CUDA 也要实现的接口的好范例；(3) `has_fp8_non_causal_qlen2_kernel` 的白名单，是理解 AITER fp8 dispatch fold 规则的现成材料，也是本 PR 最脆弱的假设。跟进建议：确认 AITER 是否计划暴露能力 API；评估在 CI 中加入 gfx942 fallback 与长 qlen 非因果块的端到端用例。

全词表 EAGLE3 草稿跳过冗余重映射，对齐 dspark 契约

值得精读，但只需 10 分钟：改动只有 24 行且集中在三处结构相同的构造逻辑。建议重点关注三个设计点——(1) 用 `None` 作为身份映射的 sentinel，把判断从热路径挪到构造期，是这类「参数化语义」的经典手法；(2) 比较对象选择 `vllm_config.model_config.get_vocab_size()` 而非草稿配置自身，这个选择决定了哪些真实模型能命中快速路径；(3) 维护者删除测试的权衡是否可接受。若后续要控制维护成本，更经济的做法不是放弃守卫，而是把这段条件逻辑抽成一个共享 helper（例如 `maybe_create_draft_id_to_target_id()`），在 eagle3 / dspark / dflash 之间复用，既消除四处重复代码，也能用单测覆盖一个函数而不是四个模型。阅读时另需注意本 PR 由 AI 辅助（Claude Code / GLM-5.3）编写、作者自审，且关键契约确认（@benchislett）未获回复。