Prhub

sgl-project/sglang · 标签视图

标签列表

聚合结果

infra 相关 PR

2026-09-01
基础设施 重要性 2.77 洞察度 2.00

升级 MoRI 依赖,修复 ionic RoCE 上 KV 传输 EOF 错误

作为一行依赖版本升级,无需精读实现细节;但 AMD、hi-cache、disaggregation 相关团队应关注验证结论与 CI 失败项,建议合入前确认 Extra/AMD ROCm 7.2 流水线失败是否与本次 bump 相关。值得关注的设计决策是:将 MoRI 的 pin 放在 Dockerfile ARG 中并附带 NIXL/UCX 构建注释,便于快速定位和追踪上游依赖版本。

基础设施 重要性 5.36 洞察度 5.00

NPU 多机测试按 run_id 隔离源码与 pod,避免并发互相干扰

值得快速浏览,对 CI 并行隔离设计有参考价值:run_id 贯穿"存储路径 + job 名 + pod label + 日志路径"四个层面,是一种轻量且完整的运行级隔离范式。重点借鉴 `prepare_cm_data` 的"label selector 收窄 + 名称前缀兜底"双保险过滤方式;同时注意模板与 Python 脚本必须同步演进,未来新增 job 类型时要同步补 `run-id` label。

文档 重要性 7.08 洞察度 4.00

DeepSeek-V4 文档新增 Flash Vision 多模态变体

该 PR 属于文档站变更,不涉及引擎运行时,不值得精读;但两个设计决策值得关注:一是“向后兼容的配置解析链扩展”(新键插在链首、旧键顺序不变),作为数据契约演进的范例;二是“验证状态三态治理”(verified / in-progress / pending + warn banner),适合推广到任何带基准数据的文档场景。若后续要改动 cookbook 引擎,务必记住 `_deployment.jsx` 与 `_playground.jsx` 需同步修改这一 Mintlify 约束。

#34074 [CI] Move tests onto the right CI stages

原始 PR · 作者 hnyls2002 · 合并时间 2026-09-01 03:40

基础设施 重要性 7.22 洞察度 7.00

66 项低频测试移入 weekly,workflow 矩阵化

值得精读。这是 sglang CI 体系的一次系统性梳理:测试频率分层策略、无效注册清理、GitHub Actions matrix 化与 runner_filter 下沉,以及 compute_partitions.py 的 matrix 静态解析。对维护多 runner 测试矩阵的团队有直接参考价值。重点关注:注册即声明 (suite, stage, runner) 的约定、静默丢失的防御(白名单校验 + 人工核对)、以及"从不执行的注册比报错的注册更危险"这一运维洞察。

重构 重要性 5.62 洞察度 4.00

精简 GenerateBody 反序列化注解并文档化 batch header ABI

值得快速阅读,重点看两处:请求体 Option 字段删除 serde(default) 的清理模式,以及 BatchHeader 的 direction_family_shape 命名契约文档。如果后续要改 batch header 或新增 extras 列,应严格遵循该命名语法并保持与 Python header_cols 顺序一致。

重构 重要性 7.25 洞察度 5.00

Rust 采样与线上结构对齐 Python,新增双语言 lockstep 测试

值得精读。核心值得学习的是 lockstep 测试模式:用最少的成本把一个位置型协议约束在 Python 单元测试里,适合推广到其他 Rust/Python 双实现结构。需要注意该方案依赖源码文本与相对路径,长期建议改由构建期生成 schema 或共享常量来消除脆弱性。

重构 重要性 8.20 洞察度 6.00

Rust server 地址改为派生,env 解析支持负数

值得精读,重点关注四个设计决策:①「配置派生 vs 调用方传入」——把地址计算收敛到 Rust 侧,启动边界只有一个事实来源;②env_i64 与 Python EnvInt 的符号对齐策略,以及 warn-and-default 的容错约定;③负数哨兵模式(-1 = 禁用限制)通过 batch_size_exceeds_limit 封装比较,避免 usize/i64 混用;④review 中作者自我否决 server.rs 命名的过程,体现模块命名的克制原则。

重构 重要性 9.00 洞察度 5.00

拆解 Rust 服务器模块并统一 MM 命名

值得精读,尤其适合想理解 embedded Rust server 架构或准备做大规模安全重构的工程师。看点:(1) 平铺兄弟模块(不用嵌套目录与 `mod.rs`)的组织取舍;(2) `#[cfg(test)]` 控制测试专属导出,防止生产代码依赖只存在于测试构建的路径;(3) 术语统一(Native → Rust)如何降低跨语言维护成本;(4) `non_mechanical_provable` 提交拆分纪律——每个 commit 单独可验证;(5) `to_scheduler_validation.rs` 中 `check_total_tokens` 对 FSM 顺序限制的注释(Python 先校验后 verify,Rust 只能在截断处补断言)。若只关心推理功能,可跳过本 PR 的功能细节。