新增HPC-Ops注意力后端
该 PR 值得精读,特别是零拷贝 KV 池适配、图分割实现 FP8 路径、与现有元数据辅助函数的复用模式。后续 MoE 后端和融合算子的集成 PR 值得关注。建议在工厂函数中主动检查 `has_hpc_ops()` 并给出友好错误提示。
SGLang is a high-performance serving framework for large language models and multimodal models.
新增HPC-Ops注意力后端
该 PR 值得精读,特别是零拷贝 KV 池适配、图分割实现 FP8 路径、与现有元数据辅助函数的复用模式。后续 MoE 后端和融合算子的集成 PR 值得关注。建议在工厂函数中主动检查 `has_hpc_ops()` 并给出友好错误提示。
修复 Lightning Attention 与 mamba extra-buffer 的状态损坏
此 PR 修复了一个微妙且难以发现的竞态问题,涉及 radix cache、mamba 状态和 Triton 内核的交互。PR body 中的 ASCII 图示和分析非常透彻,建议仔细阅读。
原始 PR · 作者 ishandhanani · 合并时间 2026-07-22 21:39
添加原生 gRPC sidecar 模块启动器
值得精读,尤其是 `sidecar.py` 中进程生命周期管理的设计与配置校验方式。对于有类似“陪伴进程”需求的系统有参考价值。建议在后续 PR 中增加集成测试覆盖真实进程场景。
JIT kernel 子系统迁移到 kernels.ops
建议快速合并,并关注后续的 shim 清理 PR。对中等了解团队内核架构的开发者来说,本 PR 展示了大规模代码迁移的最佳实践,值得阅读。
原始 PR · 作者 yctseng0211 · 合并时间 2026-07-22 21:14
注册 AMD ROCm 7.15 夜间发布工作流
可快速合并。若团队关注 AMD 发布流程,可了解 workflow 中的版本提取和镜像标签策略。
修复 LongCat n-gram 在填充批次上的崩溃
该 PR 值得合并,但建议后续补充单元测试覆盖填充批次场景,以及采纳 Gemini 建议添加 `_ng_bs` 守卫到 `update_ngram_token_table_after_sampling` 中以增强鲁棒性。
修复 Marlin MoE 测试中 ServerArgs 初始化方式
建议合并。变更虽小,但消除了由配置重构引发的测试失败,有助于保持 CI 的稳定性。
修复过时的 per-token group quant 调用者
建议快速合并。该 PR 修复了 CI 中的大量测试失败,是必要的清理工作。改动简单明了,审核已通过。无需精读,但可关注类似 PR 中因参数废弃导致的调用者更新。
参与讨论