将 BCG 核心移回原模块并删除顶层包
对于关注模块组织和代码重构的读者值得精读,了解如何安全地回退一次不成熟的包提取。对于普通开发者,只需注意新导入路径即可。
SGLang is a high-performance serving framework for large language models and multimodal models.
将 BCG 核心移回原模块并删除顶层包
对于关注模块组织和代码重构的读者值得精读,了解如何安全地回退一次不成熟的包提取。对于普通开发者,只需注意新导入路径即可。
原始 PR · 作者 weireweire · 合并时间 2026-07-09 13:18
修复 DSV4 分离解码 draft SWA 状态传输缺失
值得阅读以了解分离解码状态传输的组件扩展方式。设计上选择复用现有 SWA 传输类型而非新增类型,保持了 forward 兼容性。测试模式值得参考。
修复 Ascend NPU 文档中的模型名错误
该 PR 为简单的文档修正,无需深入阅读。但可以体现项目对文档准确性的重视。
支持 CPU 后端四种投机解码算法
推荐精读,尤其是后端工厂模式、设备分发策略和 overlap scheduler 的禁用逻辑。后续可分离出 kernel 优化 PR 和模型级别调整 PR。内核向量化可参考 common.h 中的工具函数进行。
为CPU diffusion模型引入AMX加速优化
建议仔细阅读该PR的设计思路,特别是`AMXAttentionBackend`的轻量实现和`linear.py`中的条件分支设计。但由于该PR已回滚,直接应用存在风险。可跟踪后续修复PR(如#30717和可能的重新合入版本),待验证确无回归后再考虑采纳。重点关注FSDP加载时的权重处理逻辑,避免重复调用。
原始 PR · 作者 niehen6174 · 合并时间 2026-07-09 10:24
为 LTX-2.3 添加 RL rollout 路径
PR 设计简洁、门控清晰,适合快速合并。建议关注点:1) 确认 SGLang 自有 scheduler 的数值行为与 diffusers 版本一致;2) 考虑为 rollout 路径添加单元测试,以防止未来代码重构时破坏;3) `_scheduler_step_kwargs` 中的 `batch.rollout` 等属性访问可考虑使用 `getattr` 以增加健壮性(尽管当前 Req 数据类已有默认值)。
XPU PCG 回退 eager 避免崩溃
值得合并,修复了潜在的崩溃问题,且保持了与 CUDA/HIP 后端的行为一致性。建议在后续增加针对该 fallback 路径的单元测试。
修复 CP 策略 docstring 中 rank 命名
可快速合并,无需深入审查。
参与讨论