Rust 服务器新增采样消息结构体与验证
本 PR 是 Rust 服务器构建的基石之一,值得学习如何将 Python 参数验证逻辑系统性地移植为 Rust,以及 admission cache 的设计 (纯函数缓存、容量满时清空策略)。建议 Review 过程中特别关注 `vocab_size` 范围的正确性。
SGLang is a high-performance serving framework for large language models and multimodal models.
Rust 服务器新增采样消息结构体与验证
本 PR 是 Rust 服务器构建的基石之一,值得学习如何将 Python 参数验证逻辑系统性地移植为 Rust,以及 admission cache 的设计 (纯函数缓存、容量满时清空策略)。建议 Review 过程中特别关注 `vocab_size` 范围的正确性。
修复 Poolside 推理模板 thinking 默认值检测
该 PR 值得精读,尤其关注 `_has_toggle_default_assignment` 的实现方式:通过解析 Jinja AST 而不是正则,从根本上解决了模板语法干扰问题。同时,`_is_poolside_v1` 的签名重构也提供了一个“检测目标应基于不变特征而非可变默认值”的设计思路。
可选 base64 编码 prompt top logprob flat 数组,加速 4 倍
值得精读。实现干净,设计上预见了未来 dtype 扩展(通过 `_b64_dtype` 标记字段),且与 #22244 的独立输出侧 base64 互不干扰。可作为自定义序列化格式优化的参考。
限制 Qwen3.5 MoE 权重获取到本地 PP 层
值得合并的快速修复。对于维护 PP 或 MoE 模型的工程师,可关注此模式下其他模型是否也存在类似问题。
修复 Inkling cookbook 安装命令
该 PR 是常规文档维护,可快速合并。无需精读。
新增 Rust 服务器消息层:请求体、调度器 wire 协议与改进的请求 ID
值得详细阅读,特别是 `wire_struct!` 宏设计、`OneOrMany` 的 sealed 模式、`Rid` 唯一化策略。讨论中的输入验证和错误处理共识可作为团队代码规范参考。建议在后续 egress PR 合并后,补充端到端兼容性测试。
修复 PD+PP 中 bootstrap 和 prealloc 的共识竞态问题
此 PR 设计清晰,值得精读:通过“共识映射”避免二次同步的策略可推广至其他多 rank 协调场景;处理局部失败的设计考虑周全。关注 `poll_and_all_reduce_pp` 函数和 `pop_bootstrapped` 中的 PP/非 PP 分支选择。
在弹性 EP 扩容后重新启用 EPLB 专家负载均衡
建议阅读 `eplb_manager.py` 中 `_compute_expert_location_metadata` 的广播逻辑,以及 `model_runner.py` 中 `_rearm_eplb_after_elastic_scale` 和 `_reset_eplb_after_elastic_scale_failure` 两个方法。这些实现展示了在动态拓扑中如何安全地重新激活周期性负载均衡,是弹性 EP 功能的关键拼图。
参与讨论