移除全栈审查占位文件
可直接合并,无需深入审查。
SGLang is a high-performance serving framework for large language models and multimodal models.
移除全栈审查占位文件
可直接合并,无需深入审查。
为 Diffusion 服务添加请求日志记录功能
值得快速浏览,了解如何复用 srt 的日志基础设施为 diffusion 路径添加可观测性。重点关注 `DiffusionRequestLogger` 的设计(采样配置白名单、级别语义)以及钩子插入点(`scheduler_client.forward`)。该 PR 为后续 diffusion 服务的运维监控奠定了基础。
原始 PR · 作者 e-martirosian · 合并时间 2026-07-05 16:43
修复 diffusion CI 生成脚本因上游重构而中断
该 PR 是小型修复,值得快速合并以恢复 CI。但对于未来,考虑将 `collect_test_items` 放在共享的工具模块中,以避免重复。
配置解析管道全栈审查, 10-PR 系列集成
值得精读。该 PR 展示了大规模配置重构的渐进式迁移策略, 包括字节一致性验证、声明式 vs 命令式设计、双应用技巧, 以及运行时冻结机制。是理解 SGLang 配置架构升级的门户。
原始 PR · 作者 yuankaichen-amd · 合并时间 2026-07-05 14:49
修复 ROCm RMSNorm 批次不变性
值得合并。这是一个针对 ROCm 平台的精确 bugfix,修复了确定性推理模式下 RMSNorm 的批次不变性问题,同时通过使用 Triton 核函数避免了性能回退。评审过程健康,反馈被及时采纳。无需精读。
新增Kimi K2.6 FP8 MI355X夜巡配方与launcher模型无关改造
建议阅读本PR: - 关注launcher模型无关设计:通过`model:`块和可选字段,实现配置与脚本的解耦,值得借鉴。 - review中关于空hash的修复虽小,但反映了边界条件处理的重要性。 - MTP准确性不达标的问题需要进一步排查,但基础版已通过,表明主要流程正确。
引入 WeightLoadPlan 显式控制权重加载设备放置
该 PR 是重要的架构改进,值得所有参与 diffusion 模型加载的开发者精读。其引入的 `WeightLoadPlan` 抽象可用于未来扩展(如异构设备、分阶段加载)。建议 merge 后运行完整的 diffusion 测试套件以验证兼容性。
原始 PR · 作者 IPostYellow · 合并时间 2026-07-05 11:11
LingBot 实时新增复合输入、KV 窗口和延迟 VAE
值得精读。交互式 KV 窗口的设计模式(重置默认值 + 按需调整)和复合输入原子性校验可复用。关注 causal_attention_cache 的 recent_window_tokens 参数,它是通用层的变化,可能被其他模型使用。
参与讨论