#48668 [V1][Metrics] Preserve prefix-cache stats on zero-output steps
原始 PR · 作者 puririshi98 · 合并时间 2026-08-09 09:58
修复离线 LLMEngine 零输出步丢弃 prefix-cache 计数
改动很小,值得花几分钟通读。重点学习点是「计数器由下游每步 drain,但记录有输出门控」这类统计丢失的根因模式,以及评审中对 iteration_stats 构造时机的简化(把 None 判断放到源头而不是调用点)。若团队依赖 prefix-cache 指标,建议后续补一个 zero-output step 的回归测试,防止此类丢失再次引入。
参与讨论