Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

observability 相关 PR

2026-09-01
基础设施 重要性 7.08 洞察度 5.00

XPU 夜间测试新增 per-model 指标 JSONL 记录与健康看板

值得精读。核心看点:① opt-in 零影响设计——env var 默认 None、全仓库无调用方,配合 append-only 与吞错,把“记录”与“决策”彻底分离,这是 CI 可观测性改造的安全姿势;② 双级记录(model 级 rich records + file 级 fallback)与 `test_file` 去重机制,兼顾数据丰富度与覆盖率;③ workflow 中直接内嵌 Python 渲染 dashboard 的做法,优点是单文件自包含,缺点是难测试。如果想复刻该模式,建议至少补一条 jsonl schema 的自动化测试,并统一 env var 的访问方式(全部走 `Envs` descriptor)。

2026-08-29

#36973 config: six more runtime readers ask the bags

原始 PR · 作者 ch-wan · 合并时间 2026-08-29 19:19

重构 重要性 7.59 洞察度 7.00

运行时 6 个模块改为从配置 bag 读参数

值得精读。这是 config 系列重构的关键一环,展示了「先理清数据流、再逐层去掉参数透传」的系统性方法。重点学习:1) 以「读取是原字段还是命名空间叶子」为判据决定可否迁移;2) 用 `is_config_namespace_published` 把「None 用默认」重语义化为「未发布用默认」;3) 对构造函数签名变更做全仓库调用点普查(含 `srt/` 之外)。建议在阅读时对照系列内 #36896、#36972、#36974、#36975 一起看,才能理解完整演进。

2026-08-27
功能 重要性 9.00 洞察度 7.00

为负载感知路由器新增 per-scheduler 负载发布 socket

值得精读。这是为外部路由器提供真实负载数据的基础设施 PR,设计质量高:端口推导与广播单一来源、opt-in 保护升级兼容、去重心跳保证迁移及时性、golden bytes 钉跨语言契约。对计划接入 sgl-router cache_aware_zmq 或自研负载感知路由的团队,这是必读的引擎侧对接规范;对一般模型服务团队,只需确认 `--load-publish-endpoint` 默认关闭、升级无影响即可。

2026-08-26

#36251 config: publishing is the process entry's job

原始 PR · 作者 ch-wan · 合并时间 2026-08-26 19:58

重构 重要性 8.35 洞察度 7.00

配置发布职责上移进程入口,构造器只做断言

值得精读。该 PR 是配置架构重构系列的关键一环,展示了“发布是进程入口职责”的清晰分工、fail-loud 的断言策略,以及为“声明不再物化到字段”铺路的投影机制。建议对照同系列 PR(36250/36252/36253/36254/36255)一起阅读,才能看到完整的设计意图。

2026-08-24
功能 重要性 7.39 洞察度 4.00

调度器内部状态新增整机 world_size 字段

值得快速浏览:它展示了如何在不破坏现有契约的前提下,为调度器内部状态叠加一个派生字段,并用四象限测试矩阵固定 DP / DP attention 的并行语义边界。关注 observability 或调度状态契约的读者可以精读 scheduler.py 的 get_internal_state() 与新增测试文件。

功能 重要性 8.99 洞察度 6.00

生成 meta info 新增逐 token 权重版本跨度,支撑 RL 归因

值得精读。重点看三点:一是 `compute_weight_version_spans()` 的游程编码边界处理与零 token 特例;二是“参考模型 + 随机/穷举对照”的单测写法(`_expected_spans` 朴素实现与生产实现互证),这是算法类改动很值得借鉴的测试模式;三是提交序列本身展示了“先提取复用函数(`collect_inflight_reqs`、`_make_abort_req`),再修状态同步 bug,最后接新功能”的重构顺序,可作为多提交 PR 的结构范例。

功能 重要性 8.22 洞察度 5.00

调度器新增权重版本跟踪,打通 HTTP 与换权重路径

值得精读,尤其是幂等版本记录(同版本/`None` 短路)、通过声明式 `_COMMUNICATOR_SPECS` 注册新 RPC、以及换权重成功后统一回写的接入方式。从事在线权重更新、RL 数据归因或调度器内部状态观测的工程师应重点关注;同时可参考 issue 评论中 Codex 对 CI 失败的系统性 triage 方法。