Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

rust-server 相关 PR

2026-08-18
功能 重要性 8.15 洞察度 6.00

Rust /generate 增加 e2e_latency 元数据,修 Sarashina 导入

值得精读 `rust/sglang-server/src/api_server/native_api.rs`,重点看 `RequestTiming` 的设计——把 API 层计时与 scheduler 内部消息解耦,并利用 `join_all` 在保持顺序的同时并发观察终端输出。这个模式对后续 Rust server 增加 TTFT、ITL 等指标有直接参考价值。建议后续补充针对 `e2e_latency` 的端到端测试,覆盖 unary、batch、流式终止帧三种形态。

2026-08-13
重构 重要性 8.62 洞察度 5.00

Rust API 错误响应抽成共享 helper,原生与 OpenAI 路径统一

值得快速精读。核心价值不在功能而在边界划分:payload 形状(协议自有)与响应塑造(通用逻辑)分离,以及用薄包装避免调用点重复参数。对要在 Rust 前端新增 endpoint 或修改错误契约的开发者是必读参考。sherlockwu 的唯一一条评论直接决定了最终 API 形态,是'共享 helper + 薄包装'的经典落地案例。