vllm-project/vllm · 标签视图

拆分 docstring 中斜杠合并参数，消除 griffe 文档警告

值得一读，但价值不在代码逻辑而在工具链约定：这是一个典型的“工具报错驱动的文档规范化”小改动，阅读时建议关注三点——(1) 斜杠合并写法为什么会让 griffe 同时漏掉两个真实参数，这是写 kernel docstring 时最容易踩的坑；(2) 拆分过程中对 `row_ks`/`row_ke`、`cu_seqlen_ks`/`cu_seqlen_ke` 补写 start/end 语义的做法，说明好的拆分应顺带澄清语义而非机械换行；(3) 是否值得在 CI 中把 griffe 警告提升为可见的检查项，以弥补 `ruff` 规则缺位导致的防回归空白。若只关心运行时行为，可以完全跳过本 PR。

为 Nemotron VL 启用语言模型侧 LoRA，绕开编码器内 token 的索引映射缺失

值得精读，重点看两处：一是为什么 VL 包装类必须把 `is_non_gated_moe` / `packed_modules_mapping` / `embedding_modules` / `lora_skip_prefixes` 从 `NemotronHForCausalLM` 抄一遍（LoRA 目标模块解析对元数据完整性的依赖）；二是 `_create_final_video_embeddings` 里 encoder 内部生成 token 与 per-token 适配器索引映射的不匹配，以及用 `base_layer` 兜底的取舍——这是多模态 + LoRA 场景中值得沉淀的通用模式。阅读时请把 linitra24 的提问和 danisereb 的回复对照看：功能虽然打开了，但 embedding LoRA 场景的正确性缺口是被“实际适配器不带 embedding 权重”这一经验事实掩盖的，如果要把它纳入线上能力，建议补一个检测到 embedding LoRA 时的告警或明确文档说明，并加一条多模态 + LoRA 的自动化回归用例。

KV Offload 新增按请求的 max_load_tokens 加载上限

值得精读，尤其面向 KV offload / 调度方向的同学。建议关注三个设计决策：一是 `__post_init__` 的解析约定（`type(raw) is int` 排除 bool、非法值 warning + 忽略而非报错）；二是 cap 在 `_lookup_complete_chunks` 中的两个插入点（先按 GPU 前缀偏移取 min，再按 group chunk 粒度下取整），理解为什么 `0` 会自然退化为“直接返回 0”；三是测试设计——在 hybrid KV cache helper 上同时覆盖 sync/async scheduling，并用 `expected_stored` 断言 store 路径不受影响。若要投产，建议先补齐多级部署验证，并考虑在服务入口对字符串数字等易错输入给出更显式的告警或校验。

退役 Buf schema 发布，统一到 crates.io 分发

值得花 10 分钟快速阅读，重点看三点设计决策： 1. **先立后破的渠道迁移模式**：先在 #56365 建立 crates.io 发布并让 Rust 前端消费同一 crate，再在本 PR 退役 BSR，避免出现无发布渠道的空窗期。 2. **保留 buf build/lint 而非整体删除 workflow**：发布路径可以退，但 schema 质量门禁不能退，且移除 owner 限定后 fork 也能校验。 3. **文档对消费契约的明示**：README 直接写明 "no longer published" 并给出替代路径，比在 release note 里提一句更可靠。 该 PR 逻辑直白，不需要深挖源码，适合作为“发布基础设施收口”的参考案例。

文档化通过渲染端点获取 Responses prompt token ID

不需要精读源代码，适合 Responses API 与 scale-out 部署用户作为操作手册阅读。值得关注的设计决策有两点：一是把“无状态渲染 + 请求前 token 预检”定位为模型副本路由前的标准动作，二是明确写出渲染端与生成端配置必须一致、多模态负载需要原样保留这两个容易被忽略的约束。文档价值中等，技术洞察有限。

修正 ITL/TPOT 指标文档并为 Grafana 新增 TPOT 面板

- **值得精读（约 5 分钟）**：负责延迟监控、SLO 定义或性能回归看板的人应重点读 `docs/design/metrics.md` 新增的 ITL/TPOT 对比段落，它解释了为什么两个『看起来都是 TPOT』的指标在投机解码下会差数倍。 - **可以跳过**：`grafana.json` 的 167 行新增大部分是面板样板（`fieldConfig`、`options`、`thresholds`），只有 `targets` 里的 5 条 PromQL 值得复制到自建监控，尤其是 `rate(_sum)/rate(_count)` 这种 request-weighted mean 写法。 - **值得关注的设计决策**：(1) 选择『新增面板 + 保留旧面板』而非重命名替换，保持向后兼容；(2) 定义统一指向 `docs/benchmarking/cli.md`，避免同一概念在多处文档各写一套；(3) 把『单 token 记为 0、bench 会排除』直接写进面板 description，把口径差异前置给使用者而不是藏在文档角落。 - **建议跟进**：在 metrics.md 补充 token-weighted TPOT 的 PromQL 并标注『不推荐/仅供 debug』，以及直方图 bucket 对 P99 精度的影响；这些是 Issue #55276 提出但本 PR 未闭环的部分。

修复 EC E2E 脚本未同步 --enable-scale-out 导致的 CI 404

P2P 卸载层超时可配，晚到 fetch 一 RTT 内被拒

值得精读，尤其是负责 KV offload / tiering / PD 分离部署的工程师。三个值得关注的设计点：一是用带剪枝的墓碑表 `_reaped_stores` 承接跨实例失败通知，复用既有 `finish_request` → `_finalize_outbound` 终态路径而不改协议、不加 session API，是把「超时」变成「可立即观测的失败」的干净做法；二是配置入口「先 `float()` 强转、再以 `NaN` 兜底统一报错」的模式，对任何从 `kv_connector_extra_config` JSON 原样 splat 进来的 tier 参数都适用，可直接照搬到其它 tier；三是 `_REAPED_ID_RETENTION_S` 与消费者 `_LOAD_TIMEOUT_S` 的隐式耦合是唯一需要持续盯住的设计点，建议后续要么加断言/测试，要么把二者关联起来。测试方面，`recording_drain` 断言「线上从未出现 abort_fetch」这种验证路径而非仅验证结果的手法，也值得其它失败路径测试借鉴。