Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-05 03:32 同步状态:空闲 下次计划:2026-09-05 04:32

PR 列表

更多筛选
2026-06-11
重构 重要性 7.98 洞察度 6.00

简化 prefill CP 命令行参数

值得精读。该 PR 展示了在保持向后兼容的前提下进行大规模配置重构的典型模式:先添加新字段、编写双向映射、逐步迁移旧代码、并辅以详尽的单元测试。

重构 重要性 3.35 洞察度 3.00

将 issue 模板 model 字段改为自由输入

该 PR 是典型的基础设施改进,变更清晰、风险低,值得快速合并。对于参与 cookbook 添加流程的贡献者,建议阅读变更后的文档以了解新行为。

重构 重要性 7.19 洞察度 6.00

重构 NGRAMWorker,统一推测解码树形参数接口

- **优先修复 critical 问题:** 在 `common.py` 中对 `server_args.speculative_algorithm` 做 None 检查,或给 `SpeculativeAlgorithm.from_string` 增加 None 安全处理。 - **值得学习的模式:** 将树形参数提升到 verify-input 抽象上,通过多态消除条件分支,是一个很好的接口设计范例,适合在其他需要算法多态的场景中借鉴。 - **补充测试:** 为 `SpeculativeAlgorithm.has_draft_kv()` 和 verify-input 属性编写简单单元测试,固化接口契约。

重构 重要性 7.98 洞察度 5.00

自适应推测解码参数初始化前移并统一

建议仔细审核:重点关注 `_init_adaptive_speculative_params` 的默认值选取逻辑是否符合预期,并验证非自适应模式下 `auto_choose_speculative_params` 的调用条件是否覆盖所有场景。此重构值得精读,展示了如何将分散的参数初始化逻辑集中到 hook 中。

功能 重要性 9.18 洞察度 6.00

为路由器添加聊天模板渲染,修复缓存感知哈希覆盖率为零

值得精读。该 PR 展示了如何通过引入与引擎一致的编码逻辑来修复缓存感知路由的关键正确性问题。设计决策方面,选择 minijinja 实现模板渲染,并为 DSV4 单独编写编码器,体现了对现有引擎行为的深度对齐。但需关注对 JSON 对象模板的兼容性缺失。建议后续补充对不同模型的模板渲染测试,并考虑添加运行时 fallback 计数器。

文档 重要性 6.27 洞察度 5.00

为 Kimi-K2.6 添加 NVFP4 部署指南,更新 K2.5 文档

建议部署或运维 Moonshot AI Kimi 系列模型的团队仔细阅读本 PR 中的命令生成逻辑,特别是条件渲染和动态选项的设计,以及硬件切换时的状态重置策略。对于文档维护者,值得关注如何在交互式组件中处理硬件切换时的状态一致性。该 PR 本身文档清晰,可直接参考用于部署。

#22985 [AMD] Support eplb for moriep

原始 PR · 作者 billishyahao · 合并时间 2026-06-11 01:23

功能 重要性 8.34 洞察度 6.00

支持 MoRI 专家负载均衡并修复 RCCL P2P 挂起

值得精读,尤其是 P2P 分块策略和低延迟钩子集成方式。建议关注环境变量配置的运维参数调整。

参与讨论