vllm-project/vllm

MoRI-IO 连接器支持 SWA+HMA，PD 吞吐数倍提升

值得精读，尤其适合关注 KV 连接器、PD 分离与 HMA 的工程师。重点看三处设计决策：一是通过 `SupportsHMA` + `request_finished_all_groups` 把『每组一个块列表』的契约从类型层（`BlockIds`）到协议层打通，并与 NIXL 保持一致的命名；二是『能裁剪就裁剪、不能裁剪就 fail closed』的策略——SW 组只传窗口尾部、其他 hybrid 直接抛异常，避免静默精度损失；三是顺手修掉的 local/remote block id 混用 bug，这个话题值得作为案例研究：一个看似只关乎容量的特性改造，如何暴露并修复既有的数据正确性问题。阅读时建议对照 `test_moriio_connector.py` 中 `test_get_exchange_clipped_blocks_clips_only_sw_group` 与 `test_metadata_hma_block_ids_preserved_per_group`，并留意 PR 未覆盖的滚动升级兼容性与多 full-attention 组场景。

Qwen4Exp 把 PLE 外层残差与 QSA 输出门并入 Triton 内核，保持 BF16 舍入边界

值得精读，尤其是要维护 Qwen4Exp 或改造 Triton 内核的工程师。建议重点关注三处：(1) `ops/ple.py::_ple_conv_kernel` 中 `(residual + conv_output).to(dtype)` → FP32 加 `outer_residual` → store 的三步写法，这是「融合但不改数值」的范式，也是 `test_ple.py` 能用 `torch.equal` 逐位断言的原因；(2) commit 6d038df 的修复思路——把可选张量变为必填关键字参数以消除 specialization 分支、并同步 warmup 桩，值得作为内核演进 checklist；(3) coderabbitai 关于 graph padding 行残差的两条未决意见（`ops/ple.py` 与 `test_qsa_reference.py`），建议在后续 PR 中补一个 spec + padding 混合批次的逐位用例来证实或推翻。

KV Offload 异步查找复用在途探针，消除重复后端探测

值得精读，尤其是关注「用显式状态机替代布尔标记」这一设计决策：`LookupPhase` 让 `flush()` / `drain_results()` / `cleanup()` 三处的判定条件自解释，也顺带把「孤儿回收」这一新职责安放到 `drain_results()` 这个唯一的结果入口，避免了在多处散落删除逻辑。测试手法同样值得借鉴：用 `monkeypatch` 把 `batch_lookup` 换成受 `threading.Event` 控制的 `blocking_lookup`，把并发时序钉死成确定性断言（`batch_lookup_calls == 1`），比 sleep 轮询稳健得多。阅读时建议重点核对两点：一是 worker 在 `batch_lookup` 异常时是否一定投递结果（决定在途状态是否会永久滞留），二是 `flush()` 无条件 drain 后是否还有别的地方依赖旧的结果可见时序。建议对 `AsyncLookupManager` 增加一个长跑/压力场景的回收断言，作为对本次状态驻留改动的兜底。

为 CPU 平台新增投机解码 CI 步骤与 E2E/Smoke 测试

值得中等优先级精读，尤其是负责 CI 与 CPU 后端的工程师。关注三个设计决策：一是 ngram e2e 用 drafted/accepted 指标做“反空转”断言，避免用例在 proposer 不出草稿时仍然通过；二是 smoke 用例断言 `use_v2_model_runner` 为真并要求接受长度下限，把“功能回退”和“性能回退”都纳入门禁；三是 soft_fail + source_file_dependencies 的上线策略。建议评审者跟进：把 `MIN_ACCEPTANCE_LEN` 与 checkpoint 版本一起记录、明确软失败转硬门禁的条件、确认 `VLLM_CPU_KVCACHE_SPACE` 在两处设置下的真实取值。

ROCm 上为 DeepSeek-V4 CSA 注意力引入多流重叠，吞吐最高 +4.6%

值得精读，重点看 `vllm/models/deepseek_v4/amd/rocm.py` 中 `_enable_csa_multi_stream`、`_run_sequential_pipeline` 与 `_prepare_and_attn` 三者构成的“门控 + 递归回退”结构，以及 `execute_in_parallel` 传入 `self.ln_events[0]` / `ln_events[1:3]` / `aux_streams[:2]` 时对事件与流的复用约定。设计上最值得注意的是：用“是否处于 capture / metadata 是否 dict”来等价替代“是否存在 eager break”，把多流的正确性押在 cudagraph 的静态图上，这是一种以编译期结构换运行时同步可靠性的取舍，值得借鉴但也最脆弱。建议在采纳前补齐两点：为 capture 与非 capture 两条路径增加最小可重复的测试或 nightly e2e，并保留一个（哪怕是构建期）的回退开关以应对 HIP event 挂死。

conftest 修正 CPU 块大小，解阻 81 个测试

值得精读，但只需读 27 行中的 fixture 本体。关注三点设计决策：一是"测试侧 monkeypatch 生产类属性 + `is_cpu()` 短路"这一跨平台 no-op 模式，它让同一份测试在 GPU lane 与 CPU 本地都能跑；二是 `staticmethod(lambda: [MultipleOf(16)])` 的写法细节（避免方法绑定、返回新列表、函数级自动还原），这是 monkeypatch 类方法的常见坑点；三是它暴露的架构问题——connector worker 在构造期硬依赖 attention backend 的 block size 声明（`select_common_block_size`），使全 mock 的单测被迫与内核约束耦合。后续更干净的路径有两条：给该目录打 `cpu_test` 并在 CPU lane 上执行，或让 block size 校验在测试中可注入，而不是靠改写全局后端声明。阅读时建议同时打开 issue #56668 与 #54042，理解契约变更的传播链路。

Rust 前端媒体提取改按渲染占位符顺序，修复图片错配工具结果

值得精读，尤其适合维护 Rust 前端渲染器或做多模态请求准备的同学。重点看三处设计：一是「顺序产物挂在 `RenderedPrompt` 上、用 `Option` 表示默认行为」的接口设计，它把破坏性降到只影响真正会重排的渲染器；二是 `extract_media_parts` 用 `Either` 在零拷贝前提下统一「显式来源 / 请求顺序」两条路径，并把下标不一致显式变成错误；三是索引必须由渲染器在写占位符的同一处产生（`write_chat_content` 与 `K3TokenWriter::image`），这是避免再次出现「两处独立推导顺序」的关键。阅读时建议同时对照 `deepseek.rs::render_user_content_block` 的重排逻辑与两个 `media_order_follows_reordered_tool_results` 测试，验证下标语义；并留意 Test Result 为空这一事实，合入后需自行跑一遍多模态 e2e 确认。

NIXL 推送注册读 _remote_agents 加锁，消除竞态误判

值得精读，尤其是把「小于 10 行的源码改动 + 100 行并发测试」这种配比作为规范参考。关注三个设计决策：(1) 为什么是「锁内快照 + 锁外发送」而不是「整个 check-then-send 持锁」；(2) 为什么只把 dict pop 放进临界区、把 NIXL teardown 留在锁外；(3) 两条回归测试如何用 `threading.Event` + 超时断言把「被锁挡住」与「功能正确」区分开——这一点在评审并发补丁时经常被做成只验证行为的假测试。审查时建议额外确认：基类 `_handshake_lock` 是 RLock 还是 Lock、以及快照后发送到已被移除 agent 的 NIXL 语义。