vllm-project/vllm

Anthropic Messages API 新增 cache_salt 透传支持

值得快速阅读。作为前端 API 字段透传的最小闭环样例，展示了如何让 Anthropic 协议复用 OpenAI 内部请求模型的校验逻辑，避免重复实现。关注点：字段描述与安全建议的对齐、CountTokens 分支的有意排除，以及透传方式与 kv_transfer_params 的一致性。

修复 AITER MLA 小头 verify 展平缺失因果掩码

值得精读。一是 PR body 对静默缺陷的论证方式（为什么输出正常、为什么表现为吞吐提升、blast radius 的 divisor/non-divisor 划分）是排查同类隐性正确性 bug 的优秀范本；二是测试用 patch + spy 截获传给 kernel 的元数据，既不依赖 AITER 构建产物又能锁定行为，设计精巧；三是关注 `min_kv_seq_len` 语义从请求级到行级的迁移，以及后续是否有必要把 `num_heads >= 16` 与 divisor-count 场景补上实机验证。

新增延迟指标文档，澄清 TTFT/ITL/TPOT 口径

值得一读的文档型 PR：如果你使用 `vllm bench serve` 或需要对照其他推理框架的延迟指标，本小节是绕不开的参考。值得关注的设计决策：①全文强调"用测量点和公式而非指标名比较"，是处理 benchmark 术语不一致的正解；②TPOT 公式明确排除首 token、ITL 不产生零时长 gap，澄清了规格解码下的常见误解；③双主题 SVG 配图把抽象定义可视化的做法值得在文档中推广。缺点是 PR body 缺动机描述，合并信息全部依赖文档自身，后续维护者需自行补读上下文。

新增 Cohere Chat v2 API 前端支持与 citations 渲染

值得精读。该 PR 是 vLLM 前端协议扩展的范例：通过子类化保持既有 OpenAI schema 稳定、以中间件统一外部 API 错误信封、用 env 门控控制新端点暴露面，以及用构造器钩子避免复制分支逻辑。建议关注 `api_router.py` 的错误翻译中间件、`serving.py` 的 SSE 状态机与 `cohere_chat_message.py` 的序列化技巧；同时提醒排查 `/cohere` 未纳入认证前缀的安全遗留问题。

转发 model_config 给嵌套推理解析器

值得快速浏览：改动小但指出了配置透传中的常见遗漏点。关注 `ABCParser.__init__` 中 `model_config` 的透传方式，以及 `tool_parser_cls` 是否也存在同样的潜在问题（当前未透传）。若要精读，可结合 `vllm/parser` 下各 `ReasoningParser` 子类构造函数签名核对兼容性。

将 shen-shanshan 添加为多处 CODEOWNERS，扩展维护权限。

不值得精读技术细节。若关注开源社区治理与评审流程，建议快速浏览本 PR 的 CODEOWNERS 变更及其合并方式，了解 vLLM committer onboarding 的落地形式；同时留意 CODEOWNERS 路径语法（如 /vllm/**/*rocm* 子路径规则）的用法。技术层面无可借鉴的设计决策。

修复 common ops 导入触发 CUDA 初始化的 CI 回归

建议快速浏览本 PR，重点不是代码本身，而是其诊断过程（git bisect 定位 import-time 回归）和包级 re-export 需要谨慎设计依赖链的教训。代码改动极小，无复杂逻辑，不必精读。

修复 Rust 随机基准采样到无效 token ID 崩溃

值得精读的单文件 bugfix，重点看两点：一是 `get_allowed_tokens` 把采样池建模为"连续可解码区间 + 注册特殊 ID"的思路，二是 `load_builtin_tiktoken` 硬编码各编码边界元数据带来的维护成本。若团队长期维护 rust bench，建议后续将编码边界改为动态探测或加注释引用数据来源，降低依赖升级时的漂移风险。