#35125 [Rust Server] Add e2e latency metadata and fix Sarashina import
原始 PR · 作者 merrymercy · 合并时间 2026-08-18 17:08
Rust /generate 增加 e2e_latency 元数据,修 Sarashina 导入
值得精读 `rust/sglang-server/src/api_server/native_api.rs`,重点看 `RequestTiming` 的设计——把 API 层计时与 scheduler 内部消息解耦,并利用 `join_all` 在保持顺序的同时并发观察终端输出。这个模式对后续 Rust server 增加 TTFT、ITL 等指标有直接参考价值。建议后续补充针对 `e2e_latency` 的端到端测试,覆盖 unary、batch、流式终止帧三种形态。