Prhub

#44055 [Docs][KV Connector][NIXL] document KV Transfer stat logging and Prometheus metrics

原始 PR 作者 sridhar-3009 合并时间 2026-06-12 23:39 文件变更 1 提交数 2 评论 5 代码增减 +48 / -0

执行摘要

新增 NIXL KV 传输 metrics 文档

部分解决 Issue #41230,为用户提供 NIXL KV 传输延迟和吞吐量指标的明确文档,帮助用户监控和诊断性能。

值得精读,尤其是 NIXL KV Connector 用户,有助于理解 KV Transfer metrics 日志和 Prometheus 指标含义。

讨论亮点

审阅者 markmc 批准了 PR,但指出该文档并未完全解决 #41230 中关于跨 TP 聚合的问题,不过认为“这是个好的开始”。

实现拆解

docs/features/nixl_connector_usage.md 中新增 ## Metrics Reference 小节,包含:

  1. 一个示例日志行,展示 KV Transfer metrics 输出格式。
  2. 一张表格,解释每个 CLI 指标字段(如计数、时序、吞吐量、描述符数)。
  3. 一张表格,列出所有 7 个 Prometheus 指标,包含类型和描述。
  4. 一个提示,将 vllm:nixl_num_kv_expired_reqs 峰值与 kv_lease_duration 参数关联起来。
文件 模块 状态 重要度
docs/features/nixl_connector_usage.md 文档 modified 3.1

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

跨 TP 聚合未覆盖 documentation

markmc 在批准时指出,该文档未完全解决 #41230 中关于跨 TP 聚合的指标需求。

结论:当前 PR 作为良好起点被合并,跨 TP 聚合问题留待未来继续讨论。 · unresolved

风险与影响

该 PR 仅修改文档,无代码变更,无回归或性能风险。

对用户:提供清晰指标说明,便于监控和排障。对系统:无影响。对团队:为后续更全面的 NIXL 指标文档奠定基础。

跨 TP 聚合指标待补充

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论