SGLang is a high-performance serving framework for large language models and multimodal models.
原始 PR · 作者 zRzRzRzRzRzRzR · 合并时间 2026-04-04 11:44
更新 GLM-4.7 和 GLM-4.7-Flash 模型的加载逻辑与导入格式，移除 Eagle 实现并同步量化处理。
此 PR 值得精读，特别是关注共享专家量化处理的设计决策和跨平台兼容性调整。建议工程师重点关注 glm4_moe.py 中的 FP8 类型检查和 forward_normal_dual_stream 缩放逻辑，以学习如何避免常见平台差异和双重计算错误。
支持LTX-2模型的两阶段视频生成管道，新增上采样器和精炼阶段。
该PR值得精读，特别是管道阶段设计（upsampling.py中的阶段分离）和上采样器实现，对于理解扩散模型两阶段生成和组件加载有参考价值。关注配置灵活性和错误处理机制，以及性能优化点。
提取PD解耦服务器公共启动逻辑到基类夹具，简化测试代码并减少重复。
该PR值得测试工程师和基础设施开发者精读，以学习如何设计可复用的测试夹具。关注`extra_prefill_args`和`extra_decode_args`的自定义机制，以及`launch_all()`的封装模式，这些设计决策有助于提高测试代码的模块化和维护性。
原始 PR · 作者 lawrence-harmonic · 合并时间 2026-04-04 07:16
修复 pause_generation 在 prefill 节点泄漏请求导致调度停顿的 bug。
建议工程师精读此 PR，特别是 `scheduler.py` 中 `pause_generation` 方法的变更，以理解调度器中 prefill 节点的特殊处理逻辑和避免泄漏的设计决策。关注条件检查的添加位置和原因，以及测试如何模拟泄漏场景验证修复。对于学习调度机制和边界条件处理有参考价值。
扩展 `/rerun-test` 命令支持 CPU-only 测试并优化批处理逻辑。
建议 CI 维护者和开发者关注此 PR，特别是批处理逻辑和错误处理的设计。代码变更集中在两个文件，便于 review，值得精读以理解 CI 工具的演进和改进方向。
原始 PR · 作者 sundar24295s · 合并时间 2026-04-04 06:17
提取 Scoring API 至专用 Mixin 文件，重构 TokenizerManager 并添加代码所有权。
建议关注 EngineScoreMixin 的设计，它展示了如何将自包含功能提取为 Mixin 以提高模块化。对于参与评分功能开发的工程师，值得精读以理解新的代码组织。
回滚 JIT 激活功能，恢复 AOT 内核以解决 CI 测试失败。
建议技术管理者关注此回滚决策，评估 CI 失败的根本原因，以决定是否未来重新引入 JIT 激活。工程师可精读修改的文件（如 `python/sglang/srt/layers/activation.py` 和 MoE 相关文件），了解回滚对性能敏感路径的影响，并监控后续性能测试结果。
临时跳过SM103 GPU上的TRTLLM attention以避免高并发挂起，改用FA4后端。
该PR值得精读，特别是关注硬件特定问题的处理方式，以及attention后端选择逻辑的设计权衡，如精确检测与范围检测的对比。
参与讨论