Prhub

sgl-project/sglang

SGLang is a high-performance serving framework for large language models and multimodal models.

监控状态:已开启 最近同步:2026-09-03 22:27 同步状态:空闲 下次计划:2026-09-03 23:27

PR 列表

更多筛选
2026-07-30

#32343 sglang rust server sampling message

原始 PR · 作者 rainj-me · 合并时间 2026-07-30 05:55

功能 重要性 8.74 洞察度 6.00

Rust 服务器新增采样消息结构体与验证

本 PR 是 Rust 服务器构建的基石之一,值得学习如何将 Python 参数验证逻辑系统性地移植为 Rust,以及 admission cache 的设计 (纯函数缓存、容量满时清空策略)。建议 Review 过程中特别关注 `vocab_size` 范围的正确性。

缺陷修复 重要性 7.84 洞察度 5.00

修复 Poolside 推理模板 thinking 默认值检测

该 PR 值得精读,尤其关注 `_has_toggle_default_assignment` 的实现方式:通过解析 Jinja AST 而不是正则,从根本上解决了模板语法干扰问题。同时,`_is_poolside_v1` 的签名重构也提供了一个“检测目标应基于不变特征而非可变默认值”的设计思路。

功能 重要性 7.06 洞察度 6.00

可选 base64 编码 prompt top logprob flat 数组,加速 4 倍

值得精读。实现干净,设计上预见了未来 dtype 扩展(通过 `_b64_dtype` 标记字段),且与 #22244 的独立输出侧 base64 互不干扰。可作为自定义序列化格式优化的参考。

缺陷修复 重要性 5.74 洞察度 3.00

限制 Qwen3.5 MoE 权重获取到本地 PP 层

值得合并的快速修复。对于维护 PP 或 MoE 模型的工程师,可关注此模式下其他模型是否也存在类似问题。

#32242 sglang rust server request message

原始 PR · 作者 rainj-me · 合并时间 2026-07-30 01:54

功能 重要性 9.18 洞察度 7.00

新增 Rust 服务器消息层:请求体、调度器 wire 协议与改进的请求 ID

值得详细阅读,特别是 `wire_struct!` 宏设计、`OneOrMany` 的 sealed 模式、`Rid` 唯一化策略。讨论中的输入验证和错误处理共识可作为团队代码规范参考。建议在后续 egress PR 合并后,补充端到端兼容性测试。

缺陷修复 重要性 7.53 洞察度 6.00

修复 PD+PP 中 bootstrap 和 prealloc 的共识竞态问题

此 PR 设计清晰,值得精读:通过“共识映射”避免二次同步的策略可推广至其他多 rank 协调场景;处理局部失败的设计考虑周全。关注 `poll_and_all_reduce_pp` 函数和 `pop_bootstrapped` 中的 PP/非 PP 分支选择。

#30553 [2/N] elastic-ep: Enable EPLB after scale-up

原始 PR · 作者 zackyoray · 合并时间 2026-07-30 01:06

功能 重要性 8.36 洞察度 6.00

在弹性 EP 扩容后重新启用 EPLB 专家负载均衡

建议阅读 `eplb_manager.py` 中 `_compute_expert_location_metadata` 的广播逻辑,以及 `model_runner.py` 中 `_rearm_eplb_after_elastic_scale` 和 `_reset_eplb_after_elastic_scale_failure` 两个方法。这些实现展示了在动态拓扑中如何安全地重新激活周期性负载均衡,是弹性 EP 功能的关键拼图。

参与讨论