修复 LFM2 模型 YARN RoPE 参数未正确传递的问题
此 PR 值得合并,修复了一个 silent correctness bug,改动量极小且正确性有验证数据支撑。推荐精读以理解类似配置兼容性问题的处理模式(优先新键、安全 fallback),这一模式已在多个模型(如 Qwen3)中复用。
SGLang is a high-performance serving framework for large language models and multimodal models.
修复 LFM2 模型 YARN RoPE 参数未正确传递的问题
此 PR 值得合并,修复了一个 silent correctness bug,改动量极小且正确性有验证数据支撑。推荐精读以理解类似配置兼容性问题的处理模式(优先新键、安全 fallback),这一模式已在多个模型(如 Qwen3)中复用。
原始 PR · 作者 jbschlosser · 合并时间 2026-05-27 05:58
移除PyTorch named tensors依赖,避免向上兼容风险
建议阅读核心文件 `tensor_naming.py` 的变更,理解如何用私有属性模拟命名语义。该模式可推广到其他需要绕过废弃 API 的场景。同时也值得查看 review 讨论中关于原地修改与非连续张量的设计权衡。
原始 PR · 作者 happierpig · 合并时间 2026-05-27 05:22
重构 idle batch 逻辑并修复 dp=1 场景问题
建议精读该 PR,尤其是讨论中关于 idle batch 与 `_update_gather_batch` 解耦的设计权衡。虽然改动较小,但涉及对 dp attention 同步机制的理解,对维护多 GPU 并行策略的工程师有参考价值。
原始 PR · 作者 Qiaolin-Yu · 合并时间 2026-05-27 05:14
重做 EAGLE 草稿 topk==1 softmax 跳过优化并修复 AMD 回归
该 PR 是一次典型的重做优化并修复平台兼容性的案例,值得关注其平台门控的设计模式。虽然改动小,但涉及回退与重做决策,以及通过代码注释记录回归原因,具有良好的可维护性。建议精读以了解投机解码性能优化与平台差异处理。
修复 NemotronH V3 Omni NVFP4 权重加载
建议检查并合并,属于 bugfix,逻辑清晰,影响范围小。
修复 trailing-dot 前缀的 FP8 skip 匹配
建议精读。本 PR 展示了如何在保持向后兼容的前提下修复 dot-boundary 匹配导致的回归,其测试策略值得参考:单元测试聚焦边界条件,集成测试使用真实模型和评估管道验证精度。
为 Qwen3 Cookbook 添加 Xeon CPU 支持
作为文档更新,值得快速查阅以了解 Xeon 支持的范围。但建议关注 TP 值和 FP8 设置的后续验证,如有实际测试结果应补充更新。该 PR 展示了在文档中为特定硬件平台添加参数配置的典型做法。
原始 PR · 作者 sglang-bot · 合并时间 2026-05-27 03:10
sgl-kernel 版本从 0.4.2.post2 升级到 0.4.3
建议合并。作为常规的依赖升级,自动化流程降低了人工操作风险。
参与讨论