标签列表
聚合结果
原始 PR · 作者 eicherseiji · 合并时间 2026-05-01 15:43
修复 Ray 指标标签分区共享 Bug
**值得精读**。该 PR 以极小改动揭示了使用可变共享状态封装库 API 的典型陷阱，并提供了干净的解耦模式（浅拷贝 + 独立标签字典）。对理解 Prometheus 客户端标签语义、以及如何在不可变标签框架下包装 Ray metric API 具有参考价值。推荐所有涉及指标开发的人员阅读。
为FinishedRequestStats添加request_id字段，支持指标与请求关联。
该PR值得精读，因为它展示了如何在vLLM中扩展指标系统以支持可观测性需求。关注点包括： 1. 设计决策：选择`external_req_id`而非内部ID，体现了与现有架构一致性的考量。 2. 接口演化：讨论中关于`StatLoggerBase`稳定性的担忧，是评估类似变更长期维护成本的好案例。 3. 实现简洁性：变更集中在三个文件，逻辑清晰，适合学习如何最小化地添加功能字段。
移除调度器统计中未使用的编码器缓存使用率字段，清理无用代码。
该PR变更简单直接，适合快速浏览以了解代码清理决策。值得关注的是团队对未使用代码的处理原则：优先移除而非保留，强调指标应面向用户设计。
移除误导性的prompt_tokens_recomputed指标，简化缓存命中统计逻辑。
该PR值得精读，尤其是对于关注vLLM指标系统和缓存命中统计的工程师。关键设计决策包括：1) 识别并移除误导性指标，避免技术债务；2) 简化统计公式，使local_cache_hit和external_kv_transfer的计算更直观；3) 与PR #37460的关联展示了指标系统的演进方向。