Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

openai-api 相关 PR

2026-08-30

#37054 Handle unlimited tokenizer context lengths

原始 PR · 作者 zomglings · 合并时间 2026-08-30 08:29

缺陷修复 重要性 4.97 洞察度 4.00

修复 tokenize 接口对 HF 无限长标记的序列化崩溃

值得快速阅读:5 行改动展示了处理第三方库序列化约束的保守策略——只替换会出错的值而非一刀切。可关注两点:一是 ORJSON 64 位范围与 HF 无限标记的冲突是同类端点都可能踩的坑;二是建议后续补一个注册在 test/registered 规范位置的轻量单测,覆盖无限标记回退路径,避免回归。

2026-08-17
缺陷修复 重要性 5.70 洞察度 4.00

chat 补全接入请求头覆盖机制

值得精读,尤其是设计取舍:覆盖目标选内部 `GenerateReqInput` 而非 OpenAI 请求对象,保持了 API 请求的可审计性;用 env 开关显式门控,避免对既有用户产生隐式行为变化;测试覆盖 8 类 header 且断言原始请求不被污染,是入口一致性修复加高覆盖单测的小而美范本。关注点在于 header 覆盖与 DP 路由计算结果的优先级,需在分布式部署中进一步验证。