SGLang is a high-performance serving framework for large language models and multimodal models.
原始 PR · 作者 Raiden-Makoto · 合并时间 2026-06-26 10:49
GLM-5.1 EAGLE 支持扩展到 AMD gfx942
此 PR 主要涉及文档和部署配置，适合需要部署 GLM-5.1 在 AMD GPU 上的团队阅读。设计决策中的死锁分析（aiter 自定义 all-reduce 内核问题）值得关注，但在当前 PR 中未深入讨论。
AMD MI355X 2节点1P1D分解式夜间基准测试
值得仔细阅读，特别是其自包含 CI 设计、GSM8K 门控与性能测量的结合方式、以及自动镜像解析策略。该 PR 可作为 AMD 平台后续模型基准测试的模板。
原始 PR · 作者 mengniwang95 · 合并时间 2026-06-26 09:54
集成 Intel AutoRound 量化，新增 auto-round-int8 支持
值得精读，特别是 `IncModelLoader` 的实现展示了如何将外部量化库集成到 SGLang 的模型加载体系中。设计上采用了继承 `DefaultModelLoader` 的方式，复用权重加载后处理流程，值得借鉴。建议关注离线量化保存路径的约定（scheme 子文件夹）以及在线量化后如何重新初始化模型架构。
为NPU模型教程添加环境前置条件并更新安装指南
值得合并，提升了 NPU 文档的完整性和用户引导性。建议将来在类似教程中保持相同的 Environment 小节模板，并定期检查链接有效性。
修复 MLA KV 缓存基准测试缺少 DCP 参数
值得快速合并以恢复 CI 健康。此 PR 也提醒了未来在修改内核接口时需同步更新所有直接调用点。
原始 PR · 作者 hhhh1252023 · 合并时间 2026-06-26 08:52
NPU 夜间 CI 指标仪表板和可重用工作流
该 PR 适合 NPU 相关开发者和 CI 运维人员精读。值得关注的设计决策包括： - 基于 stdout 模式匹配的轻量级指标收集方案，无需额外服务。 - 可重用工作流模式（单节点、多节点）降低重复配置。 - 优雅处理测试失败（即使失败也生成指标工件）确保仪表板完整性。 - 自动网络接口选择逻辑，对多机部署有参考价值。
原始 PR · 作者 vincentzed · 合并时间 2026-06-26 08:27
LFM2.5 cookbook 新增 230M 模型变体
可快速合并，作为 cookbook 的常规更新。
ARM 构建排除 AMX GEMM 源码
此 PR 是低风险、高价值的跨平台构建梳理。建议快速合入。感兴趣的工程师可以关注未来的跟踪 PR，该 PR 可能会真正为 ARM 实现 GEMM 内核以替换存根。
参与讨论