vllm-project/vllm

新增 VLM 默认执行模式批次不变性用例并收紧判定断言

值得精读，但阅读重点不是 diff 体量而是测试设计：它是纯测试变更且已被 `yewentao256` 以 LGTM 合并，逐行 review 价值有限。建议关注三处决策——(1) `_assert_batch_invariant` 由 skip 改为 fail-closed，把「静默通过」换成「显式失败」，值得在仓库其他条件跳过型用例中复制；(2) 用 `enable_prefix_caching=False`、`mm_processor_cache_gb=0`、`VLLM_USE_FLASHINFER_SAMPLER=0`、`ignore_eos=True` 这组旋钮把变量收敛到「执行模式」单一维度；(3) 只加一格而非铺满 image/video × backend 全矩阵的取舍。若要继续扩展，建议补显存/硬件门槛标记、把 Hopper/Blackwell 验证沉淀进 CI 矩阵而不是依赖作者本地复跑，并明确 prefill/encoder 图捕获仍是空白。

为 DeepSeek-V4 视觉模型增加 LoRA 支持并修正连续性断言

值得精读，尤其是做多模态 LoRA / 后训练链路的同学。建议重点关注三点设计：(1) `get_mm_lora_token_counts` 为什么必须区分 tower 侧 patch token 与 LM 侧 mm embed 两套计数、以及 dummy run 下的倍率反推；(2) tower + connector LoRA 在混合 LoRA 批次下的映射语义是否真的成立（对应 P1 未解决项，建议补多图 + 多适配器的 e2e 用例再上线）；(3) “把 `.contiguous()` 兜底放进 LoRA 算子而不是模型调用点”这一分层取舍——它降低了调用方负担，但把契约变更扩散到了全部 LoRA 前向。若只是使用该模型，按文档打勾的 LoRA 列直接使用即可，但建议先单适配器验证。

jit 预热测试改用 current_platform 设备类型，适配 XPU CI

值得快速浏览。该 PR 展示了如何用 vLLM 的 `current_platform` 抽象消除测试中的硬件平台硬编码，对负责 XPU / 多平台 CI 的工程师有直接参考价值；阅读重点是测试重命名与断言替换的对应关系，生产代码无需关注。

/score 与 /rerank 改用引擎实际输入统计 token usage

值得一读，但属于小而精的修复而非架构级变更：重点看 `_build_response` 如何把「计量口径」从后处理产物切换到引擎真实输入，以及为什么 cross-encoder 期望值不动、bi-encoder/late-interaction 期望值整体减 1。审阅时建议额外关注两点：一是 `assert ctx.engine_inputs is not None` 是否应替换为显式错误处理，以覆盖 flash late-interaction 与多模态路径；二是是否需要为 `/score`、`/rerank` 的 usage 增加独立单测（对齐 PR body 中 tokenizer 对照脚本），避免未来再次回归到后处理累加。

修复混合 KV 缓存加载失败崩溃，改为整请求重算

值得精读。推荐关注三点：一是 `_update_requests_with_invalid_blocks` 中「单组按 block 索引截断 / 多组整请求重算」双路径分支的判定与 `continue` 时机，这是理解 V1 调度器失效恢复语义的最佳切入；二是 null block 在 Mamba `align` 模式下的共享语义（为什么它可以「既不能失败也不能被驱逐」）；三是 NickLucche 提出的 connector 层请求级失败方案——如果后续 #42461 推进，本 PR 的多组分支很可能被再次改写，建议在读代码时同步留意这条演进线。若团队在跑混合模型 + 远端 KV connector，建议补充一个真实模型（如 Kimi-Linear-48B-A3B）的端到端失败注入验证。

双缓存关闭时保留显式多模态 UUID，修复 EPD 标识错配崩溃

值得精读，但重点不在 diff 体量（2 文件、+38/-26），而在它重新定义了一条隐式契约。建议关注三点：(1) `_process_mm_uuids` 的“逐条 merge + 缺失占位”写法，这是小改动修复跨实例一致性问题的典型范式；(2) `test_multi_modal_uuids_preserved_when_caching_disabled` 的 4 组参数，尤其是空串与“完全不传 UUID”两组，它们实际上是在给 UUID 语义立规矩，评审时应确认与文档/接口约定一致；(3) 残余缺口——不传 UUID 的 EPD 路径、以及“UUID 冲突/复用”的防御，是否值得补一层校验或集成测试。若团队正在推进 EPD/KV 传输方向，这个 PR 是理解 encoder 与 consumer 之间标识契约的良好入口。

Engram 表支持 DP 分片、异步预取与 /dev/shm 共享

值得精读。该 PR 是 DeepSeek V4.1 在 vLLM main 上落地的性能与内存优化关键一环，三个设计点尤其值得学习：TP-major 的 DP head 分片排序（保证 gather 后 head 顺序正确）、基于 /dev/shm + cudaHostRegister 的跨进程共享 UVA 表（含失败回滚与 weakref 生命周期管理）、以及 side-stream 预取与 breakable CUDA graph 的配合（eager break + 持久 staging buffer）。合并前应重点核对 PP 边界场景是否已修复。

dummy 加载去掉重复初始化，DSv4.1 Engram 表改常量填充

值得精读，尤其是 `dummy_loader.py` 中 `state_dict()` 递归语义与 `model.modules()` 平铺语义不一致这一段——这是一个很容易在别处复现的 O(depth) 重复劳动陷阱，读一遍能直接迁移到其他加载/遍历代码。关注三个设计决策：(1) `dummy_weight_value` 分支刻意放在 `torch.is_floating_point` 之前，才能同时覆盖 float8 与 uint8 scale；(2) 常量值通过 `set_weight_attrs` 由模型侧声明而非 loader 侧白名单，扩展性更好；(3) `_non_persistent_buffers_set` 私有 API 依赖是否值得换成一个稳定替代（例如自行维护 snapshot 的 key 集合）。建议补一个直接覆盖「常量填充命中 + non-persistent 过滤」的单测，并统计 `initialize_dummy_weights` 是否还有调用方；只想了解结论的读者读执行摘要与关键源码片段即可。