vllm-project/vllm

MRV2 支持 prompt embeds，新增 Triton 叠加 kernel

值得精读，尤其是负责 MRV2 / worker 侧架构的工程师。关注三个设计决策：一是“GPU 常驻 + UVA 指针表 + 单 kernel 叠加”的零热路径方案（`PromptEmbedsState.add_request/apply`），它把逐请求 H2D 拷贝降到每请求一次，并用 `num_computed_tokens` 与 `embeds_len` 做 chunked prefill clamp，是值得复用的模式；二是“能力标志 + 启动期拒绝”的快速失败设计（`ModelState.supports_prompt_embeds` + `resolve_model_state_cls` 拆分），避免用户以为特性生效却静默丢 embedding；三是 PR 讨论中 njhill 与 qthequartermasterman 关于“该不该移植 / 该不该废弃”的交锋，是理解 vLLM V2 功能取舍标准的典型案例。阅读时建议同时看 `tests/v1/worker/test_prompt_embeds_state.py` 的 4 个边界用例，并留意 mm + prompt embeds 组合仍待 follow-up PR 补齐。

ROCm 镜像内置 LMCache，发布默认启用并做架构裁剪

值得精读。该 PR 虽不涉及核心推理代码，但 Docker 多阶段构建的缓存正确性设计非常扎实：用 ARG 拼 stage 名实现条件构建、digest-only COPY 作为缓存键、`llvm-objdump --offloading` 校验 code object 覆盖、sccache 契约复用。这些模式对任何“把第三方组件塞进镜像”的场景都有直接借鉴价值，建议作为镜像工程化的模板案例。

扩展 AITER W4A4 MoE 测试，补回退用例与激活量化参考

值得快速浏览。虽然没有生产代码，但两层设计有借鉴价值：一是用“环境变量 + 模块级标志双控制”的 fixture 在同一台真机上同时验证开启与回退两条路径；二是 oracle 参考路径如何精确模拟激活量化误差。对负责 ROCm 内核后端选择的工程师有直接参考价值。

Rust 前端新增 LoRA 能力通告与握手校验

值得精读。PR 虽小，但展示了跨语言协议演进的规范做法：Python dataclass 与 Rust struct 双端同步、无默认值让协议差异快速暴露、启动期强校验把配置漂移扼杀在握手阶段、跨语言 fixture 保证序列化兼容。对准备为 Rust 前端新增其他能力通告（如多模态、工具调用、量化支持）的开发者，`validate_lora_capabilities` 与 `python_compat.py` 是两个可直接借鉴的模板。

支持 Kimi-K3 DSpark 推测解码与 DCP 并行组合

值得精读。该 PR 展示了三个可复用设计：① 热路径中把多层共享的 decode 元数据计算收敛到一次并跨层缓存（并在 review 中由维护者进一步下沉到公共基类）；② DCP 下 rank-local slot 的 Triton 换算与 PAD 语义，保证草稿 KV 写入不越界；③ 以能力契约 + 启动期快速失败替代早期硬性配置拒绝，为后续后端扩展留好钩子。若要为其他 MLA 模型开启 DSpark + DCP，直接沿 `_validate_dspark_dcp_support` 与 `supports_non_causal_multi_token_dcp` 两条线扩展即可。

放宽 CuPy 依赖约束，仅排除坏版本 14.1.0

此 PR 改动极小，不值得精读实现，但其“用 != 精确排除坏版本、待上游修复后立即放开”的依赖 pin 治理思路值得记录参考。若要评估是否合入，重点确认 14.1.1 在运行时镜像上的 CI 结果。另外可关注 #44258 与 #42599 是否构成同一 CuPy 依赖治理线索。

修复 DP 多引擎启动时 CPU 线程超订阅，均分启动线程数

值得精读。虽然源码改动只有 5 行，但这是一个“一行修复背后有严谨故障定位”的典型案例：Issue #52330 对线程超订阅的量化分析（4×224=896 线程、日志中 `local_world_size=1` 的直接证据）非常值得学习。建议重点关注三点： 1. `max(1, data_parallel_size_local)` 的兼容性设计——用最小改动同时保证 TP-only 与 headless 行为不变； 2. 测试中 `object.__new__ + monkeypatch + 自定义中断异常` 的轻量级单测手法，避免了拉起真实多进程/GPU 的高成本； 3. v1 `MultiprocExecutor` 中节点级资源预算的计算入口，后续若引入新的节点级并行维度（如新的数据并行变体），应统一在此处扩展。

恢复 Torch 默认值并锁定 DSV4 scratch 为 FP32，修复 ROCm CI

值得快速精读，改动仅 22 行、逻辑直白，但对测试编写者有实际借鉴价值。两个设计决策值得关注：(1) 用 autouse fixture 统一管理进程级单例状态（默认 dtype、device、lru cache），并用 try/finally 保证失败也能还原；(2) 治本与治标结合——既消除污染源，又让下游用例对 dtype 显式化、不再依赖执行顺序。若仓库内还有其他测试存在裸改全局 torch 默认值的情况，建议按同一模式收敛。