Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-01 17:58 同步状态:空闲 下次计划:2026-09-01 18:58

PR 列表

更多筛选
2026-07-09
缺陷修复 重要性 7.30 洞察度 7.00

修复 DSV4 分离解码 draft SWA 状态传输缺失

值得阅读以了解分离解码状态传输的组件扩展方式。设计上选择复用现有 SWA 传输类型而非新增类型,保持了 forward 兼容性。测试模式值得参考。

#30577 [NPU] [DOC] fix model name error on Ascend NPU

原始 PR · 作者 amote-i · 合并时间 2026-07-09 11:28

缺陷修复 重要性 2.16 洞察度 1.00

修复 Ascend NPU 文档中的模型名错误

该 PR 为简单的文档修正,无需深入阅读。但可以体现项目对文档准确性的重视。

#27862 Support speculative decoding on CPU

原始 PR · 作者 htzo · 合并时间 2026-07-09 10:27

功能 重要性 9.36 洞察度 6.00

支持 CPU 后端四种投机解码算法

推荐精读,尤其是后端工厂模式、设备分发策略和 overlap scheduler 的禁用逻辑。后续可分离出 kernel 优化 PR 和模型级别调整 PR。内核向量化可参考 common.h 中的工具函数进行。

功能 重要性 8.69 洞察度 6.00

为CPU diffusion模型引入AMX加速优化

建议仔细阅读该PR的设计思路,特别是`AMXAttentionBackend`的轻量实现和`linear.py`中的条件分支设计。但由于该PR已回滚,直接应用存在风险。可跟踪后续修复PR(如#30717和可能的重新合入版本),待验证确无回归后再考虑采纳。重点关注FSDP加载时的权重处理逻辑,避免重复调用。

功能 重要性 6.81 洞察度 6.00

为 LTX-2.3 添加 RL rollout 路径

PR 设计简洁、门控清晰,适合快速合并。建议关注点:1) 确认 SGLang 自有 scheduler 的数值行为与 diffusers 版本一致;2) 考虑为 rollout 路径添加单元测试,以防止未来代码重构时破坏;3) `_scheduler_step_kwargs` 中的 `batch.rollout` 等属性访问可考虑使用 `getattr` 以增加健壮性(尽管当前 Req 数据类已有默认值)。

参与讨论