Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

metrics 相关 PR

2026-09-04
功能 重要性 8.45 洞察度 5.50

新增调度器利用率计数器,区分空闲挂钟时间与进程 CPU 时间。

这是一个有价值且实现良好的可观测性增强 PR。它填补了现有指标在调度器利用率监控方面的空白。实现考虑了所有调度器变体和状态,测试覆盖充分。建议关注以下设计决策: 1. 采用 `dataclass(slots=True)` 和 1 秒聚合窗口来高效跟踪时间状态。 2. 将记录点嵌入事件循环的关键转换点,确保状态跟踪的完整性。 3. 处理引擎暂停状态时,通过 `is_fully_idle()` 动态判断当前状态。该 PR 可精读,特别是 `_SchedulerTimeAccountingSnapshot` 的实现和各事件循环中的集成方式,对设计类似的可观测性功能有参考价值。

2026-08-05
功能 重要性 5.77 洞察度 6.00

按流式与非流式拆分 tokenizer 五项核心指标

值得精读,但重点不在代码量而在两个设计决策:一是可观测性维度如何与下游存储 schema 对齐(thrift 保留字导致标签改名),二是 straggler 判定为何固定 stream=true。合并后建议补充一条针对 labelnames 与上报值一致性的单测,并核对现有 TTFT 告警是否仍符合预期。若要精读,聚焦 TokenizerMetricsCollector 的 observe_one_finished_request 与 check_time_to_first_token_straggler 两个函数即可。