vllm-project/vllm

ACL 下 LM Head 改用 bf16→fp32 内核提速

值得精读，尤其适合负责 CPU 后端、oneDNN 集成或跨后端性能调优的工程师：本 PR 用 4 个文件、37 行改动换来 6% e2e 吞吐，并顺带修正了一个 primitive 缓存键的设计缺陷。重点看三处设计决策：一是“用问题描述（problem desc）而非更换算子”这一最小侵入式提速思路；二是为什么 `c_type` 必须进入 class 级缓存键（reviewer bigPYJ1151 的发现值得反复体会）；三是把 fp32 输出缓冲与一次降采样 copy 放在 PyTorch 侧而非 ACL 内部。阅读时建议同时核对小 M 场景的时间比表与 `TODO(fadara01)` 热修标记，评估该阈值在你的流量形态与模型形状下是否成立；如果后续要把它产品化，建议把 64000 提为可配置项并清理 CodeRabbit 指出的测试参数拆分问题。

XPU 放开 int8 分组量化测试，设备改为平台自适应

值得快速浏览而非精读：它是一个只有 5 行增量的测试解禁，但包含两个可复用的决策点。第一，平台守卫应表达「这个后端是否被验证过」而不是「本机是否有 CUDA」，用 `current_platform.is_cuda_alike() or current_platform.is_xpu()` 表达；第二，设备绑定统一为 `current_platform.device_type`，与同文件 `test_per_token_group_quant_fp8` 保持一致。若你正在为某一后端补测试，这个 PR 是很好的最小模板；若你关心测试有效性，需要注意在 XPU 上该用例实际只覆盖了 Triton 回退路径而非平台专用内核，并且它放弃了「无 GPU 即跳过」的保护。

修复 Mamba 状态退休被 null 空洞阻断导致的状态泄漏

值得精读。推荐重点看三处：（1）`MambaManager._remove_blocks_in_range` 的“水位线 + 长度夹紧 + 自后向前跳过 null”三元组合，这是修复泄漏同时保证幂等与摊还成本的核心，也是理解 align 模式“位置身份不稳定”假设（见 `has_positionally_stable_blocks`）的最佳样本；（2）`pop_blocks_for_free` 与 `__init__` 的成对清理，理解请求生命周期与水位线一致性的耦合；（3）`test_mamba_retirement_bounds_prefill_states` 用参数化回放把“峰值状态数上界”写成不变量的做法，值得作为其他长上下文内存泄漏修复的测试模板。读的时候同时留意 `last_block = min(last_block, len(blocks))` 这一静默截断，以及 E2E 期望值变化的语义；建议合入后补一条真实模型的长 prefill 端到端回归（断言块池峰值与输出正确性），以弥补当前以合成回放为主、无自动评审的验证缺口。

ROCm 基础镜像内容查找接受 preview 标签并回填正式标签

值得精读，但优先级限于 ROCm CI 维护者。建议重点看两点设计决策：一是三层内容命名空间（trusted / preview / stable）的候选查找顺序与回填条件，这实际上定义了一套镜像晋升协议；二是「内容哈希即等价」的信任假设，需要核验 `base_hash` 与 `metadata_version` 的计算输入是否覆盖 `refresh-base-image.sh`、`Dockerfile.rocm_base` 及全部依赖与构建参数。若哈希覆盖不完整，建议在脚本或文档中显式记录哈希输入清单，并补一条能够在 CI 中构造「preview 命中、trusted 缺失」时序的定向验证；对普通业务开发者，本 PR 只需知道 ROCm post-merge 构建会更快即可。

新增 Nebius Serverless AI 单卡部署 vLLM 指南

值得精读程度：中低。纯文档 PR 不需要逐行评审，但有三处设计值得借鉴：(1) 用镜像 digest + 模型 revision + CLI 版本三重固定来保证可复现，这套写法可以直接复用到其他平台指南；(2) 把「RUNNING 不等于模型加载完成」「公共 URL 必须唯一」等踩坑经验写成可执行断言和等待条件，而不是含糊提示；(3) 对 stop/start 与删除的语义、成本与持久化边界做了明确交代。建议维护者在合入后续跟进：为这类指南建立 digest/revision 过期检查或更新 checklist（例如随 vLLM 发版同步更新 pinned digest），并考虑在 CI 中至少对 shell 片段做语法或 dry-run 校验。另外要留意该分支名带 `codex/` 前缀、PR body 结构化程度很高，文档由 AI 辅助起草，但作者确实在真实 Nebius 环境完成了验证，评审时可优先核对示例参数与平台约束的准确性。

FlashInfer XQA 解码扩展到 SM90

值得精读。这是 FlashInfer 注意力后端一次「能力边界重新划线」的改动，重点读三处：`get_cudagraph_support` 的资格判定（head_dim、非因果、DCP 三个维度如何组合成 UNIFORM_BATCH / UNIFORM_SINGLE_TOKEN_DECODE）、`_compute_decode_query_lens` 的定宽 vs varlen 分流条件、以及 `supports_sink` 与 `_get_prefill_wrapper` 必须成对修改的耦合关系。建议合并后人工确认两点：SM100 非因果 + sinks 是否仍会静默丢 sink；SM90 + sliding window + FP8-Q 在非 0.6.17 FlashInfer 环境下是否会被静默放行。若要在 H100 上启用 XQA，建议对比验证投机解码在 ragged query 下的数值正确性，而不只依赖元数据单测。

FlashInfer 接受 KV-sharing 省略的 K/V，修复启动崩溃

值得精读：源码改动只有约 20 行，但 review 讨论覆盖了 CPU 开销约束下的代码放置、契约穷尽性、以及未初始化张量静默算错三类问题，是「小 diff、高信息密度」的典型样本。建议重点关注三个决策点：一是 K/V 切片下沉到 DCP 调用点而非在 padding 块加 None 判断；二是 `key is None` 必须配合 `gemma4_mtp` 改传 None 才「correct by construction」；三是删除单测的取舍——若要复用该方案，建议补一个不依赖内部实现细节的端到端用例，或在 DCP 组合上保留一个 canary。

SSE keep-alive 模块迁出 OpenAI 目录并删除冗余截断测试

值得花时间看的不是搬迁本身（机械改路径），而是两件事：一是删除 `test_async_tokenization.py` 的覆盖归属，建议在合并后确认 `truncate_prompt_tokens` 是否已有等价测试在其他文件接管，必要时补一个轻量用例；二是系列重构「不留兼容别名、仓库内全量替换」的策略，接触者应意识到 `vllm.entrypoints` 属于半内部 API，升级前需自行检查 import。值得借鉴的工程实践是：搬迁时保持文件内容零改动，让 review 只需核对路径与引用点，把重构风险压到最低。