修复 CPU 设备 topk 接口不兼容导致 CI 失败
该 PR 是快速的兼容性修复,适合合入以修复 CI。建议关注后续对 `test_spec_eagle_parity_cpu` 的修复 PR。
SGLang is a high-performance serving framework for large language models and multimodal models.
修复 CPU 设备 topk 接口不兼容导致 CI 失败
该 PR 是快速的兼容性修复,适合合入以修复 CI。建议关注后续对 `test_spec_eagle_parity_cpu` 的修复 PR。
原始 PR · 作者 kflansburg · 合并时间 2026-07-14 20:16
修复解耦预填充语法错误导致KV双释放
值得精读。该 PR 展示了异步传输与错误处理交织时资源生命周期的细致考量,是解耦预填充稳定性的重要修复。建议关注 `to_finish` 升格问题,后续可能需跟进 PR 完善外部中止保护。
支持 fal Ideogram V4 Fast/Instant 蒸馏模型
值得精读,特别是蒸馏流水线如何复用现有 pipeline 基础设施并通过简单的配置开关切换量化路径。对于负责多模态生成特性的开发者,可以学习如何扩展新的模型变体。钉住共享组件版本的策略值得关注,可避免意外上流 break。单分支 denoising 的修改很简洁。
修复夜间 JIT kernel 全量测试从未生效
可快速合并并跟进夜间 CI 执行情况。值得关注的是该 PR 体现了 CI 配置与代码行为的不一致性问题,建议未来通过环境变量类型系统强制统一布尔值的解析语义。
迁移通用注意力 Triton kernels 到 sglang.kernels 统一命名空间
值得精读,重点观察:内核迁移的模式(字节相同搬迁 + import 重写,确保零回归);从混合模块中提取内核(如 `_build_pa_page_table` 从 backend 中抽出)的设计,定义清晰的“kernel 模块”边界;对 review 中安全建议的取舍,因为移动不引入新问题,可以暂缓,但建议作为后续 issue 跟踪。
新增链验证器、重定位原语和生成器推断
值得精读,尤其是链验证器、分类规则和增量缓存的设计模式。对于构建自动化验证管线的团队有重要参考价值。
拆分 ModelRunner.initialize() 为 init_* 辅助方法,移动弹性 EP 函数至 elastic_ep.py
建议在后续 PR 中跟进修复 `eplb_manager` 参数的可选性问题,至少加入防御性检查或断言。当前 PR 的重构思路值得借鉴:将大型类的初始化拆为 `init_*` 方法,每个方法职责单一且可被子类覆写,这是大型系统维护的良好实践。推荐精读 `model_runner.py` 的变更,学习如何安全地分解长函数。
为 utils.cuh 添加缺失的 HIP 映射
3
参与讨论