vllm-project/vllm · 标签视图

修正 ITL/TPOT 指标文档并为 Grafana 新增 TPOT 面板

- **值得精读（约 5 分钟）**：负责延迟监控、SLO 定义或性能回归看板的人应重点读 `docs/design/metrics.md` 新增的 ITL/TPOT 对比段落，它解释了为什么两个『看起来都是 TPOT』的指标在投机解码下会差数倍。 - **可以跳过**：`grafana.json` 的 167 行新增大部分是面板样板（`fieldConfig`、`options`、`thresholds`），只有 `targets` 里的 5 条 PromQL 值得复制到自建监控，尤其是 `rate(_sum)/rate(_count)` 这种 request-weighted mean 写法。 - **值得关注的设计决策**：(1) 选择『新增面板 + 保留旧面板』而非重命名替换，保持向后兼容；(2) 定义统一指向 `docs/benchmarking/cli.md`，避免同一概念在多处文档各写一套；(3) 把『单 token 记为 0、bench 会排除』直接写进面板 description，把口径差异前置给使用者而不是藏在文档角落。 - **建议跟进**：在 metrics.md 补充 token-weighted TPOT 的 PromQL 并标注『不推荐/仅供 debug』，以及直方图 bucket 对 P99 精度的影响；这些是 Issue #55276 提出但本 PR 未闭环的部分。

为 MFU/MBU 引入滑窗与混合层记账，修正 SWA 模型指标高估

值得精读，尤其是做性能看板、容量规划或 v1 metrics 维护的同学。重点看三处：(1) `SlidingWindowAttentionParser.parse()` 的三分支层类型判定及其启发式边界（Gemma 2 硬编码、`layer_types` 缺失时的默认「全 SWA」）；(2) `AttentionMetrics` 中「全局层数先拆分、再各自除以 `pp_size`」的不变量设计，以及它顺带取消的向下取整对稠密模型数值口径的影响（建议确认浮点层数在 `dict[str, int]` 契约下是否安全）；(3) `ExecutionContext` 同时保留聚合标量与逐请求明细的双轨设计——快路径零回归、窗口路径才回放明细，是低风险扩展指标能力的好范式。建议后续补一个与真实 profiler 计数对拍的 e2e 校验，并确认是否为 MLA + SWA 混合模型补齐同样的记账。

Prometheus 直方图桶默认值收敛到单一模块，零行为变更

值得精读，但目标读者是 metrics/observability 维护者和准备做桶配置化的开发者，普通模型开发者可以只看结论。建议重点看三处设计决策：一是用 `Literal` + `get_args` 派生 `BUCKET_FAMILY_KEYS`，让「家族集合」在类型层和运行时各有一份但同源，便于测试做集合等值断言；二是快照测试的双层策略（访问器级 + 通过 `PrometheusStatLogger` 与 Prometheus 注册表的端到端回读），其中第二层捕捉到的正是「`main` 合进来一个新指标」这类跨分支漂移，非常值得在其他「单一数据源」重构中复用；三是 `histogram_buckets` 明确返回新副本的契约，为将来「默认值 + 用户覆盖」的合并逻辑留出了安全边界。审阅时建议继续追问两点：五个指标共享同一 `list` 实例是否应改为各自取副本，以及未知家族键是否应统一抛 `ValueError`——这两点都会在 #48867 落地时被放大。

新增请求级抢占次数直方图，细化抢占可观测性

改动小而清晰，值得作为 vLLM 指标层入门的精读样例。值得关注的决策点有两个：一是 histogram 语义设计（per-request lifecycle 指标与节点级事件计数器的分工），二是 bucket 边界对 Ray Metrics Exporter 的兼容处理。若运维团队关注 KV cache 压力下的服务质量，可基于该指标建立"高抢占次数请求占比"告警。

重命名 KV offload 指标 block 为 chunk

该 PR 值得快速合并，因为它解决了发布前的命名一致性问题。虽然实现简单，但体现了及时处理发布候选问题的好习惯。

为 KV 多级卸载新增分层指标，覆盖传输、查询、失败与活跃度

值得精读。重点学习：可观测性数据如何跨异步线程传递（JobResult.transfer_time）、追踪器与 orchestrator 的职责划分、per-block 异步延迟的语义定义，以及 NIXL telemetry 的接入方式。后续关注 #44008 的剩余指标项与 p2p telemetry follow-up。

修复离线 LLMEngine 零输出步丢弃 prefix-cache 计数

改动很小，值得花几分钟通读。重点学习点是「计数器由下游每步 drain，但记录有输出门控」这类统计丢失的根因模式，以及评审中对 iteration_stats 构造时机的简化（把 None 判断放到源头而不是调用点）。若团队依赖 prefix-cache 指标，建议后续补一个 zero-output step 的回归测试，防止此类丢失再次引入。

为 vllm:cache_config_info 添加 group-aware KV cache 容量指标

值得精读，特别是以下设计决策： - 如何将运行时计算的状态从 engine core 通过 ReadyResponse 同步到前端。 - `compute_hash` 忽略字段的处理确保新增字段不影响编译图。 - per-engine 与总和的取舍体现了对 DP 架构的正确建模。