#35745 [Performance] Add is_reasoning_end_streaming() override to GptOssReasoningParser
原始 PR · 作者 fergusfinn · 合并时间 2026-04-22 02:31
为 GPT-OSS 推理解析器添加流式结束检测覆盖,优化长上下文性能。
建议工程师精读此 PR,特别是 `is_reasoning_end_streaming()` 的实现,以理解如何通过窗口化扫描将 O(n) 操作优化为常数时间。关注类型处理(`Iterable` 转换)和推测解码场景的考虑,这些设计决策对类似性能优化有借鉴价值。
参与讨论