Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

metrics 相关 PR

2026-08-05
功能 重要性 5.77 洞察度 6.00

按流式与非流式拆分 tokenizer 五项核心指标

值得精读,但重点不在代码量而在两个设计决策:一是可观测性维度如何与下游存储 schema 对齐(thrift 保留字导致标签改名),二是 straggler 判定为何固定 stream=true。合并后建议补充一条针对 labelnames 与上报值一致性的单测,并核对现有 TTFT 告警是否仍符合预期。若要精读,聚焦 TokenizerMetricsCollector 的 observe_one_finished_request 与 check_time_to_first_token_straggler 两个函数即可。