合并 EAGLE/NGRAM 的 Mamba 状态提交逻辑到 spec_utils
推荐 spec 解码相关开发者精读,尤其是 AST 对比验证方法和模块化提取策略值得借鉴。其余开发者可了解架构演进方向。
SGLang is a high-performance serving framework for large language models and multimodal models.
合并 EAGLE/NGRAM 的 Mamba 状态提交逻辑到 spec_utils
推荐 spec 解码相关开发者精读,尤其是 AST 对比验证方法和模块化提取策略值得借鉴。其余开发者可了解架构演进方向。
移除 Spec V1 调度器死代码,统一 V2 路径
值得精读,特别是通过条件逆反消除 is_spec_v2 的方法,以及 deprecation 策略。整体设计干净,适合作为清理技术债务的范例。
DSV4 压缩器 out_loc 从 int32 升级为 int64
建议直接合并。这是一个纯粹的预防性修复,遵循了代码库中“索引使用 int64”的最佳实践。改动小、风险低、测试充分。
启用 Ruff UP037 全库清理冗余引号注解
建议阅读 `.pre-commit-config.yaml` 的配置变更,了解如何加入新 lint 规则。变更本身无需深入 code review。
移除 SGLANG_ENABLE_SPEC_V2 环境变量
该 PR 是 Spec V1 退役的收尾工作,对于理解 SGLang 推测解码的演进和配置清理策略有参考价值。建议关注 `speculative_hook.py` 中弃用警告的添加方式,以及测试 fixture 中配置属性的重命名模式。
新增环境变量强制启用非 CUDA 平台的 WAR barrier
值得精读:这是一个小而关键的修复,展示了通过环境变量处理平台差异的良好实践。AMD 用户应关注此 flag 并评估启用后的收益。
为 DeepGEMM wheel 添加 CI 预发布测试
对于关注 CI/CD 和 DeepGEMM 发布流程的开发者值得精读,尤其是如何通过环境变量确保依赖一致性,以及将测试作为发布门禁的做法。建议后续补充 FP8 combine 和 MXF4 的测试覆盖。
修复 NGRAM 推测解码下 Mamba 状态未提交导致的输出重复
建议精读 `_mamba_verify_update` 的实现,理解 Mamba 状态提交机制和 track 点更新逻辑,这对于维护 hybrid 推测解码非常重要。此修复填补了 NGRAM 路径与 eagle_worker_v2 路径之间的行为差距。
参与讨论