缺陷修复
重要性 6.14
洞察度 4.00
修复 output-only logprobs 被误丢弃的问题
值得精读。核心设计决策是“把 input 与 output 两条 logprob 数据流彻底解耦”，并统一增加 None 防御，这种模式可推广到其他按请求维度切分的元数据组装逻辑；同时可对照 Dynamo 侧 PR#12820 理解端到端闭环。
sgl-project/sglang · 标签视图
标签列表
聚合结果
api-contract 相关 PR
2026-08-19
2026-08-18
#35125 [Rust Server] Add e2e latency metadata and fix Sarashina import
原始 PR · 作者 merrymercy · 合并时间 2026-08-18 17:08
功能
重要性 8.15
洞察度 6.00
Rust /generate 增加 e2e_latency 元数据，修 Sarashina 导入
值得精读 `rust/sglang-server/src/api_server/native_api.rs`，重点看 `RequestTiming` 的设计——把 API 层计时与 scheduler 内部消息解耦，并利用 `join_all` 在保持顺序的同时并发观察终端输出。这个模式对后续 Rust server 增加 TTFT、ITL 等指标有直接参考价值。建议后续补充针对 `e2e_latency` 的端到端测试，覆盖 unary、batch、流式终止帧三种形态。
重构
重要性 5.27
洞察度 4.00
chat 响应 token_ids 改名 response_token_ids
值得精读。该 PR 展示了“最小化破坏性重命名”的标准套路：协议模型、响应构造、测试三点同步修改，并在 PR body 明确列出 Review Focus 和客户端迁移提示。值得关注的设计决策包括：不添加兼容别名、保持请求参数与内部字段不动、用断言锁死旧键不出现。后续可考虑是否需要在文档或变更日志中给出迁移指引。