SGLang is a high-performance serving framework for large language models and multimodal models.
原始 PR · 作者 RuixiangMa · 合并时间 2026-03-08 14:25
在Helios模型的optimized_scale函数中添加.float()转换，确保bf16下的CFG Zero Star数值稳定性。
此PR值得快速浏览以了解数值稳定性最佳实践和与上游diffusers库的同步，但变更简单，无需深入分析设计决策；关注点在于代码清晰度与内存效率的权衡讨论。
修复 bench_one_batch_server 中吞吐量指标计算的分母不一致问题，统一使用总延迟。
由于此 PR 已被回滚，不建议精读，但可以关注 issue #18712 和后续 revert PR 21276 以了解完整的讨论和决策过程。对于工程师，可学习吞吐量指标计算的设计决策，并注意在类似更改中加强测试验证。
重构NaN/OOB检测为异步检查，避免GPU-CPU同步，提升Eagle性能。
值得精读，特别是对从事GPU性能优化和异步编程的工程师。重点关注`maybe_detect_nan`/`maybe_detect_oob`函数的设计，以及环境变量与CLI参数的集成方式，以学习如何平衡调试工具和性能开销。
为SM120 Blackwell GPU添加triton_kernels支持，以运行GPT-OSS模型的MXFP4量化。
建议技术管理者关注此PR中的硬件特定优化设计（如SM120的条件分支）和量化集成策略；对于工程师，值得精读`mxfp4.py`中`_swizzle_mxfp4`函数的改动，以了解GPU架构差异（如TMA块布局支持）对内核选择的影响，并参考issue评论中的性能数据和兼容性修复。
为Kimi K2.5模型添加Eagle3 speculative decoding支持，优化推理效率。
建议精读此PR以了解speculative decoding的模型集成模式，关注委托方法的实现和性能基准测试结果，同时留意跨平台性能差异和代码可维护性议题。
修复DeepSeek-V3.2工具调用JSON解析错误，确保流式输出稳定。
建议开发者在处理类似错误时，考虑捕捉所有可能异常类型以增强健壮性。此PR值得快速浏览以了解错误处理模式，但需注意讨论中提出的未解决疑虑。
回滚PR 18619以修复扩散模型中torch compile图捕获问题，恢复推理性能。
该PR值得精读，因为它展示了性能回归修复的典型场景和代码回滚的决策。关注点包括：并行线性层变更的设计权衡、forward方法中输出处理的正确性、以及如何避免类似健壮性问题。建议团队后续验证并行性能并修复review中提及的问题。
优化 NSA 后端元数据生成逻辑，提升推测解码场景下的 GPU 性能。
建议关注新 Triton 内核 `seqlens_expand_triton` 的设计，以及如何将 CPU 端逻辑迁移到 GPU 以提升性能。该 PR 值得精读，学习 GPU 优化技巧和推测解码下的元数据处理策略。
参与讨论