溶解 EagleDraftInputV2Mixin,将 prepare_for_decode 转为自由函数
值得阅读。本 PR 展示了如何通过将行为从继承体系移到自由函数并显式分发来简化数据结构。设计思路明确:数据类只存数据,行为通过自由函数组织。对于需要扩展 spec 算法的开发者是良好的参考。
SGLang is a high-performance serving framework for large language models and multimodal models.
溶解 EagleDraftInputV2Mixin,将 prepare_for_decode 转为自由函数
值得阅读。本 PR 展示了如何通过将行为从继承体系移到自由函数并显式分发来简化数据结构。设计思路明确:数据类只存数据,行为通过自由函数组织。对于需要扩展 spec 算法的开发者是良好的参考。
移除 Req.extend_logprob_start_len 字段,改为纯自由函数
PR 的设计权衡分析极具学习价值,建议涉及并发或重叠执行的工程师精读 PR 正文。合并后建议密切监控重叠调度场景下的日志概率正确性,并可考虑为 `compute_extend_logprob_start_len` 添加单测。
优化CPU GDN prefill性能
值得精读,特别是 `fla.cpp` 中的循环融合策略和 AVX512 优化技巧,对 CPU 推理场景很有参考价值。
内联 extend_range 访问器并删除 fill_len/extend_input_len
该 PR 值得仔细阅读,展示了如何安全地进行大规模属性替换,以及如何系统性处理由重构触发的连锁问题。特别是作者使用 Claude Code 协助根因分析的做法值得借鉴。对于技术管理者:可以观察团队在重构中维护 CI 通过率的策略。
NPU fused_rope_qk_mqa 阈值条件修复
建议关注此改动是否引入 NPU 上的精度或性能回归,可通读 fused_rope_qk_mqa 算子实现确认其上限约束。
合并 extend_input_len/fill_len 为 Req.extend_range,消除分散赋值
值得精读。该 PR 展示了如何通过强类型消除隐式语义二义性,是 Req 数据结构走向更不可变、更能防御错误的良好模式。推荐跟进后续 PR #27611(内联 property)和 #27616(先决条件)了解完整演进链。
原始 PR · 作者 merrymercy · 合并时间 2026-06-25 08:25
清理 IPC 结构体,删除 SenderWrapper,重命名并优化类型
值得精读,尤其是 io_struct.py 和 tokenizer_manager.py 的变更。设计决策上值得关注:如何通过删除包装器、收窄类型、显式绑定点来降低 IPC 层技术债务。可作为后续大规模重构的参考样板。
消除 extend_input_len 的双重语义
目标明确、改动精致、影响可控。建议精读 `schedule_policy.py` 中 `add_dllm_staging_req` 和 `add_chunked_req` 的即时计算模式,作为消除隐式状态的好范例。关注其堆叠的 `#27610` 后续 PR。
参与讨论