Prhub
← 返回仓库详情

标签聚合

sgl-project/sglang · 标签视图

标签列表

聚合结果

model-gateway 相关 PR

2026-04-18

#23010 Merge /get_load into /v1/loads

作者 hnyls2002 · 合并时间 2026-04-18 04:36

重构 重要性 8.23 洞察度 5.00

合并 /get_load 到 /v1/loads,统一负载报告路径并弃用旧端点。

refactor model-gateway run-ci observability

该 PR 值得精读,尤其关注数据结构的统一设计和向下兼容处理。值得注意的设计决策包括:在 `GetLoadsReqOutput` 中新增 `num_total_tokens` 字段以区分已使用和总令牌数,以及通过垫片保留旧 API 的平滑迁移路径。

2026-04-15

#21982 [PD] Add a fallback to bypass rust dep for mini_lb

作者 whybeyoung · 合并时间 2026-04-15 22:34

缺陷修复 重要性 6.33 洞察度 3.00

为 mini_lb 功能添加 Rust 依赖缺失时的降级处理,避免导入失败。

model-gateway bugfix run-ci

该 PR 变更简单直接,适合快速浏览以了解环境兼容性处理模式。值得关注的设计决策是使用 try-except 进行可选依赖导入,这是一种常见的 Python 模块化技术。

2026-04-14

#22506 [gateway] Support SGLANG_LOG_MS for millisecond precision in router logs

作者 ZhaiFeiyue · 合并时间 2026-04-14 08:28

功能 重要性 3.00 洞察度 2.00

为Rust网关添加毫秒级日志时间戳支持,与Python SRT行为对齐。

observability run-ci model-gateway

该PR变更简单直接,适合快速了解环境变量控制日志格式的模式。值得关注的是review中提到的环境变量解析健壮性问题,虽然当前实现已满足基本需求,但在生产环境中可能需要更严格的错误处理。

2026-03-16