Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

tool-calling 相关 PR

2026-09-11
功能 重要性 8.18 洞察度 7.00

新增 Granite 4.2 思考解析器与模板自动检测规则

值得精读,尤其是想新增模型 reasoning parser 的工程师:`GraniteThinkingDetector` 是「薄覆写基类检测器」的典型范例,展示如何在不动核心解析逻辑的前提下实现模型特化行为。建议重点看三处设计决策——(1) 用 `content_absent` 显式区分「正文缺失」与「正文仅含换行」的 swap 语义;(2) 流式剥离为何必须同时采样调用前后状态才能做到分块无关;(3) 模板判别为何选 `defer_loading` 而非更显眼的 `<parameter=` 工具块。另外建议沿提交 47dd55e 阅读被修复的三个 bug,理解自动检测规则的误判成本;测试裁剪的取舍(删除伪 parity 测试)也值得作为测试设计案例讨论。

缺陷修复 重要性 6.59 洞察度 5.00

补齐 GLM-5.3 模板自动检测,恢复 auto 模式工具调用解析

值得精读,尤其适合负责模型接入与 OpenAI 兼容 API 的工程师。建议重点关注三处设计取舍:(1)`_is_glm53` 里 `not ctx.has_text("enable_thinking")` 这个排除条件——它决定了新旧模板能否互斥,也决定了未来模板一提到该字样就会静默退回错误路径;(2)`_is_glm_family` 复用 `glm45` 规则名而不新增规则,这是把“解析器名稳定”当作对外契约来保护,代价是谓词语义被塞进一个名字里;(3)`test_specific_rules_precede_broad_fallbacks` 里对规则表下标做断言的做法——当 `glm45` 与 `xml_kv_tool_call` 映射到同一个值 `glm45` 时,值断言无法发现顺序错误,这个技巧值得在同类检测逻辑中复用。阅读时不必纠结 diff 体量(仅 2 文件 +77/-4),但应意识到这类基于模板字面量的检测本质上是脆弱契约,评审同类改动时值得要求补充真实 tokenizer/模板快照回归。

2026-08-26

#35963 Add Spark3 Model

原始 PR · 作者 KnightYao · 合并时间 2026-08-26 07:24

功能 重要性 9.18 洞察度 6.00

新增 Spark3 模型架构支持与工具调用解析器

值得精读。面向模型接入开发者,重点看三处:`Spark3Config` 的 `layer_types` 与两套 `rope_parameters` 默认策略;`models/spark3.py` 的滑动窗口语义换算与 head-wise 输出门控实现;`Spark3Detector` 的流式原子输出与类型转换回退。建议在合并后跟进模型 E2E 精度测试与 1M context 压测。

2026-08-23
缺陷修复 重要性 8.50 洞察度 7.00

修复 LFM2 检测器丢弃合法工具调用的问题

值得精读。核心看点:1) 恢复阶梯的设计哲学——所有重写都是确定性的、保值的,并以 `ast.parse` 成功为唯一接受标准,“无法唯一判定就拒绝”的 fail-closed 原则避免了猜测性修复引入更坏的静默数据损坏;2) “调用数不变量”防止晚闭合引号把兄弟调用吞进参数值,是本次最有洞察力的防护;3) 19 个回归用例逐一验证修复前必失败,加上与 vLLM 的 42-payload 差分对齐,测试方法本身很有参考价值。只关心功能的读者可直接看 PR body 的三张 Before/After 表格,它本身就是一份优秀的 bug 分类清单。

2026-07-31
缺陷修复 重要性 6.88 洞察度 4.00

修复 GLM 模板对混合 tool_result 丢失 schema 的问题

值得精读。核心看点是:在协议边界拆分消息而不是修改聊天模板,以适配不同厂商模板的渲染假设;同时展现了 review 如何收敛过宽的通用方案。适合关注 Anthropic 兼容层、多模型聊天模板渲染的工程师阅读。建议后续补充更多边界场景测试。