重构投机解码中 hidden_size 路由方式
建议精读,特别是 `EagleDraftExtendInput.hidden_size_for` 的实现及 `eagle_use_aux_hidden_state` 的语义。可作为 speculative decoding 代码可维护性提升的范例。
SGLang is a high-performance serving framework for large language models and multimodal models.
重构投机解码中 hidden_size 路由方式
建议精读,特别是 `EagleDraftExtendInput.hidden_size_for` 的实现及 `eagle_use_aux_hidden_state` 的语义。可作为 speculative decoding 代码可维护性提升的范例。
清理投机解码和注意力中的死参数与注释
值得快速审查并合并。这是一个教科书式的代码清理 PR:移除死亡代码、修正过时注释。对于关注代码健康的团队,值得鼓励此类 PR。此外,其中关于 Mamba state scatter kernel 参数命名的清理可作参考,展示了如何使测试变量名与生产代码对齐。
原始 PR · 作者 merrymercy · 合并时间 2026-05-12 05:44
在 CI 权限配置中添加 libertyeagle 条目
简单且正确的权限配置变更,无需深入审查。
移除投机解码命名规则中的 _len/_lens 禁令
值得快速合并,不需要深入精读。该 PR 体现了团队对代码规范与实践之间平衡的审慎调整,适合作为命名规范演进的参考。
原始 PR · 作者 brucechanglongxu · 合并时间 2026-05-12 05:20
新增 Azure Blob Storage 连接器,支持 az:// 和 blob.core.windows.net 协议
建议 merge,本 PR 实现干净、遵循现有模式、可维护。后续可补充针对 `blobfile` mock 的单元测试,以及更新文档以反映支持 Azure URL。值得关注的设计决策是:lazy import 模式已作为处理可选依赖的标准在 S3 connector 中应用,本 PR 进一步验证了该模式的扩展性。
原始 PR · 作者 jasperjiaguo · 合并时间 2026-05-12 04:10
跳过 KV 缓存池分配,节省显存并提升吞吐
建议精读。该 PR 的设计模式(no-op pool 子类保持接口兼容)有参考价值。对于 embedding 服务用户,建议启用该标志以获得显存收益。代码结构清晰,测试完善(8 种组合),值得团队内部学习。
修复 ngram 投机解码指标偏移
值得快速合入,修复明显。建议后续补充单元测试验证指标值。
原始 PR · 作者 AgainstEntropy · 合并时间 2026-05-12 02:10
更新 MiniCPM-V-4.6 文档,支持 Thinking 变体
建议合并。该 PR 及时更新了文档,使社区能正确部署 MiniCPM-V-4.6 的 Base 和 Thinking 变体。
参与讨论