Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-02 19:48 同步状态:空闲 下次计划:2026-09-02 20:48

PR 列表

更多筛选
2026-08-20
功能 重要性 7.93 洞察度 6.00

新增 prefill 后 decode 间隔参数,防 DP 下 decode 饿死

值得精读。核心亮点是“复用已有全局同步 flag、零额外通信实现跨 rank 调度协同”的设计,对理解 SGLang DP attention 下的调度公平性问题很有帮助。建议关注两点:一是 `_should_defer_prefill()` 的计数在空转轮次下也会消耗,实际间隔效果需要实测校准;二是该开关与 `prefill_delayer` 等其他调度策略的叠加行为尚未验证,未来可能演进为统一的调度节奏控制机制。

功能 重要性 9.36 洞察度 8.00

接入 DeepEPv2 ElasticBuffer,decode 路径 CUDA-graph 可捕获

值得精读。核心价值在于三点:一是『固定通信形状换取 CUDA-graph 可捕获性』的架构权衡,这是多节点 MoE decode 优化的可行路径;二是 review 中暴露的测试盲区教训(连续 scale 掩盖 packed UE8M0 stride bug、hidden=512 整除掩盖列布局),对 kernel 测试设计有普适意义;三是声明式 server-args 与 raw runner 校验的时序问题及 `resolved_view` 解法,是 SGLang 参数体系演进的重要范例。建议关注后续是否有基于 ElasticBuffer 的 TBO/SBO 支持与多节点性能数据补充。

缺陷修复 重要性 5.03 洞察度 4.00

修复混合检查点下 NVFP4 draft 量化被覆盖

值得精读,但改动极小,可快速理解量化检测逻辑。关注 `model_config.py` 中 `_verify_quantization` 的兼容性判断模式,以及后续是否有必要增加针对 `modelopt_mixed` 的单元测试。

#34908 Support Intern-S2-Mobius FP8

原始 PR · 作者 JustinTong0323 · 合并时间 2026-08-20 01:58

功能 重要性 7.16 洞察度 4.00

新增 Intern-S2-Mobius FP8 checkpoint 加载支持

建议精读 `python/sglang/srt/models/interns2_mobius.py` 中 `_load_fused_mobius_expert_weight` 与 `_expected_mobius_load_slots` 的改动,它展示了一种用查表替代手写分支来兼容量化 scale 张量的方法,对维护多精度 checkpoint 加载有借鉴意义。同时值得关注其“不写单元测试”的权衡:对于纯序列化映射,端到端验证确实更具说服力,但建议至少在注释中记录回归验证步骤。

2026-08-19
功能 重要性 8.62 洞察度 7.00

支持 Kimi-K3 ModelOpt NVFP4/FP8 混合检查点加载

建议精读。该 PR 展示了如何处理工业级混合精度检查点的典型套路:量化配置按层分发(`_resolve_quant_algo`)、scale 契约的语义对齐(SiTU 内部消费 GEMM1 scale)、以及小投影反量化的务实取舍。对从事量化模型推理、MoE 后端适配的工程师有较高参考价值。

功能 重要性 9.36 洞察度 6.00

统一 radix 树支持运行时存储 attach/detach

值得精读。重点关注 `StorageAttachment` 的组件化拆分、`backfill_missing_hash_values` 的哈希链一致性设计,以及 15 场景状态机测试的组织方式;建议后续跟进修复两个 P2 配置原子性问题。

#35294 [NIXL] Query EP top-k index dtype

原始 PR · 作者 zackyoray · 合并时间 2026-08-19 22:31

重构 重要性 5.70 洞察度 4.00

NIXL EP topk 索引 dtype 改用属性查询

值得快速浏览,作为兼容性处理的简单示例;关注其如何通过属性查询与回退机制平衡不同构建版本的差异。

文档 重要性 4.11 洞察度 3.00

明确 PaddleOCR-VL 文档的流水线定位并补真实输出

值得快速浏览,以确认文档修订的准确性,特别是 OTSL 格式说明和示例图片 URL 的稳定性。对于使用 PaddleOCR-VL 的用户,此 PR 澄清了关键的使用边界,建议阅读。该 PR 本身技术深度有限,但文档维护的严谨性(使用真实输出)值得肯定。

参与讨论