标签列表
聚合结果
Rust 前端新增迭代 token 直方图指标
值得精读，尤其是只关注 Rust 前端的工程师：它示范了「指标句柄按 engine 预缓存 + 零值 series 初始化 + 在 dispatcher 单点采样」的完整落地套路，也是理解 vLLM 前端/引擎指标职责边界的一手材料。阅读时建议重点看三处：一是 `rust/src/metrics/src/request.rs` 中被删除的那段设计注释，理解为什么这次决定把统计放在前端；二是 `rust/src/engine-core-client/src/client/imp.rs` 中 `has_outputs` 与 sender 过滤的错位，判断是否需要用 `iteration_tokens > 0` 或 sender 命中数来收紧观测条件；三是 PR body 里对验证边界的坦诚说明，直接对应「缺少落库测试」这一后续待补项。
修正 ITL/TPOT 指标文档并为 Grafana 新增 TPOT 面板
- **值得精读（约 5 分钟）**：负责延迟监控、SLO 定义或性能回归看板的人应重点读 `docs/design/metrics.md` 新增的 ITL/TPOT 对比段落，它解释了为什么两个『看起来都是 TPOT』的指标在投机解码下会差数倍。 - **可以跳过**：`grafana.json` 的 167 行新增大部分是面板样板（`fieldConfig`、`options`、`thresholds`），只有 `targets` 里的 5 条 PromQL 值得复制到自建监控，尤其是 `rate(_sum)/rate(_count)` 这种 request-weighted mean 写法。 - **值得关注的设计决策**：(1) 选择『新增面板 + 保留旧面板』而非重命名替换，保持向后兼容；(2) 定义统一指向 `docs/benchmarking/cli.md`，避免同一概念在多处文档各写一套；(3) 把『单 token 记为 0、bench 会排除』直接写进面板 description，把口径差异前置给使用者而不是藏在文档角落。 - **建议跟进**：在 metrics.md 补充 token-weighted TPOT 的 PromQL 并标注『不推荐/仅供 debug』，以及直方图 bucket 对 P99 精度的影响；这些是 Issue #55276 提出但本 PR 未闭环的部分。
新增 tool_call_parser_invocations_total Prometheus 指标
值得阅读 review 中关于指标设计、延迟初始化和低基数标签的讨论，有助于理解 vLLM 中 Prometheus 指标注册的约束与模式。
为FinishedRequestStats添加request_id字段，支持指标与请求关联。
该PR值得精读，因为它展示了如何在vLLM中扩展指标系统以支持可观测性需求。关注点包括： 1. 设计决策：选择`external_req_id`而非内部ID，体现了与现有架构一致性的考量。 2. 接口演化：讨论中关于`StatLoggerBase`稳定性的担忧，是评估类似变更长期维护成本的好案例。 3. 实现简洁性：变更集中在三个文件，逻辑清晰，适合学习如何最小化地添加功能字段。