GLM-5 部署脚本启用 flashinfer allreduce fusion
值得关注的是文档和交互组件与真实部署配置的一致性维护方式。后续类似硬件配置优化可参考此模式。
SGLang is a high-performance serving framework for large language models and multimodal models.
GLM-5 部署脚本启用 flashinfer allreduce fusion
值得关注的是文档和交互组件与真实部署配置的一致性维护方式。后续类似硬件配置优化可参考此模式。
原始 PR · 作者 JustinTong0323 · 合并时间 2026-05-20 14:15
MiMo-V2.5 cookbook 填充 B200 基准测试并启用 Blackwell 多层 EAGLE
建议 MiMo-V2.5 用户阅读此 cookbook 获取 B200 性能数据和多层 EAGLE 配置说明。文档展示了多 EAGLE 层接受率的实际影响,对性能调优有参考价值。
原始 PR · 作者 michaelzhang-ai · 合并时间 2026-05-20 14:01
为 AMD 测试添加确定性种子修复偶发失败
建议精读。这是一个小而精的测试修复案例,展示了如何通过最小侵入性修改(单文件 +8 行)解决平台相关的随机性问题,值得测试工程师参考。
原始 PR · 作者 xiaobao520123 · 合并时间 2026-05-20 13:28
修复 Parameter 属性名 typo
PR 值得合并,但 reviewer 提出的简化建议(`getattr` 和 `isinstance`)可考虑在后续重构中一并优化,以提高代码健壮性和可维护性。
SM90 FP8 GEMM 引入 swap-AB 调度,小 batch 解码加速 1.16x
建议精读,特别是 fp8_gemm_sm90_dispatch.cuh 中基于 M/N 的分桶策略、swap-AB 的模板化实现以及 epilogue 的广播抽象。该 PR 展示了如何通过 CUTLASS 3.x EVT 灵活组合高效 GEMM 变体,对于未来 sgl-kernel 支持的优化有参考价值。
通过构造函数传递 PP start_layer 以解耦 ForwardBatch
该 PR 是典型的接口清洁重构,值得精读。展示了如何分步将静态配置从运行时对象剥离,并且带测试覆盖和连带 bug 修复。设计决策(使用构造函数参数而非全局单例或上下文)值得借鉴。
回滚 #25483,恢复 Wan2.2 ModelOpt 检查点为旧版 lmsys 路径
该 revert 保证主线稳定性,应被接受。建议后续: - 分析原 PR 的 CI 失败原因(可能是环境变量或权重版本不匹配)。 - 若需要重新引入,应先在分支上充分验证。 - 文档和示例应尽快更新,避免用户使用已回滚的路径。
原始 PR · 作者 JustinTong0323 · 合并时间 2026-05-20 12:33
延迟 MTP 权重过滤修复 OOM 挂起
值得精读的 bugfix 典范:一行的逻辑错误(tuple 强制物化)导致整个系统在特定配置下不可用,修复后效果显著。代码改动虽小,但不熟悉迭代器模型的人容易犯同样错误。
参与讨论