#2598 fix(metrics): propagate and correctly aggregate speculative decoding counters
原始 PR · 作者 nanjiangwill · 合并时间 2026-09-12 06:10
统一 SGLang 投机解码计数并修复跨会话聚合
值得精读。该 PR 展示了跨模块数据契约演进的标准姿势:类型层 fallback 兼容 → 传输层打通 → 权威聚合 → 驱动校验 → 聚合消费,每一步都有测试锚定。特别值得借鉴的是 session v2 的『服务端聚合一次 + 按 session_id 去重』模式,它解决的是树状采样结构下共享节点重复计数的通用问题,可推广到其他以树/图结构回传样本的指标场景。阅读建议聚焦 `miles/utils/types.py` 的 `SpecInfo` 与 `miles/ray/rollout/metrics.py` 的 `_compute_spec_metrics` 两处实现。