sgl-project/sglang · 标签视图

NIXL backend 初始化在同一 helper 线程内先切设备，修复多卡初始化设备错配

值得精读：源码改动仅 8 行，但触及“devic 状态是线程本地”这一常被忽视的并发陷阱，且修复直接关系到 PD 分离多卡部署的初始化正确性。建议重点关注三点：其一，`create_backend` 闭包中 `set_device` 与 `create_backend` 的绑定关系，以及为何必须放到 `run_with_deadline` 回调内部；其二，设备解析从 `ServerArgs.device` 切换到 `get_device().device` 的理由与影响面，后续若 runtime context 接口调整需同步此处；其三，测试写法（`object.__new__` + patch 基类 `__init__`）的成本收益——它让初始化路径可低成本覆盖，但也制造了假绿隐患，评审同类测试时应逐一确认所有会启动后台线程的 hook 是否已被 stub。

修复始终失败的覆盖率 Job，新增按 GPU 数统计视图

值得精读，尤其是长期维护 CI 的人。重点看两处设计决策：一是用 `set -o pipefail` + `|| echo` 把「非门禁」从意外行为改成显式契约，以及随之而来的问题发现责任转移；二是 `_SUITE_ACCEL_COUNT_RE` 用 `(?:^|-)` / `(?:-|$)` 锚定来区分 runner 规模与 `-tp4`、`qwen3-235b` 这类同名数字，这类「从命名反解元数据」的做法在新增套件命名不规范时会静默失真，建议后续补一个覆盖 `stress`、`mm-gen-*`、`-tp4` 等边界的单测。可略读 `by-gpu-count` job 与 JSON 字段部分，属机械扩展。

路由器按请求强制与注入采样契约，拒绝码与指标落地

值得精读，尤其是三处设计决策：(1) `ProbedValue` 三态把「省略 / 可读数字 / 读不出」在反序列化期一次定形，避免了在每次请求上物化客户端大小的 `serde_json::Value`；(2) `parse_as_engine_number` 的注释解释了为什么不能靠推导 pydantic 规则写这个函数（Python 数字字面量规则与 pydantic 在 `1._5`、`1e_5`、`-_1` 上不一致），以及为什么 `reject` 选择 fail-closed；(3) 采样键 last-wins、路由键重复即 400 的非对称设计，理由是「让契约比较的值与引擎真正采样用的值一致」。建议重点关注：注入语义对客户端的影响评估、`Unusable` 误拒的线上可观测性、以及 stack 3 是否真的消除了 `build_outgoing_body` 的额外解析开销。适合作为「如何为跨 fleet 的强制契约编写 fail-closed 守卫、并为灰度准备指标」的工程范例。

为 Router 新增优雅关闭排空配置面与启动校验、告警

值得精读，但**只推荐给关心 router 部署形态与滚动升级语义的人**（k8s / 平台 / Router owner）；对模型、内核方向的工程师，读执行摘要即可，因为本 PR 没有任何运行期行为变化。精读时建议关注四个设计决策：① `shutdown_drain_advisory` 的 `>=` 边界与 `grace_declared` 字段（前者决定「drain 正好等于 grace」是否告警，后者决定同一告警是否能被日志聚合去重）；② 把秒 → `Duration` 的转换从 `main.rs` 收进 `ServerConfig::shutdown_drain()` 的理由；③ 软 advisory 与硬 `MAX_SHUTDOWN_DRAIN_SECS` 的职责切分，以及它留下的「drain > grace 仍可启动」空隙是否可接受；④ `Default` impl（服务测试）与穷举 `into_config`（约束生产）并存这一对取舍。同时把 #39016 一起拉出来读，才能真正判断这套配置面是否够用。

Ascend 采样改主机侧判定，消除每 token 设备同步

建议精读，但只需要 10 分钟左右：改动量极小，却是理解 Ascend 采样热路径与「设备标量判定 → 隐式同步」这一常见性能陷阱的好样本。重点关注三处设计决策：一是 `npu_top_k_top_p_eligible` 的计算位置选在 `from_schedule_batch`（而非每次采样），依赖「top_k 在采样期间不变」这一前提；二是 `merge_batch` 用 AND、默认值取 `False` 的保守取向，使漏传与合并只带来性能退化而不带来正确性风险；三是新增测试用 `torch.all` 抛 `AssertionError` 做护栏的写法，可作为同类优化的测试模板。需要在真实 NPU 上验证收益的团队，建议补充带同步计数的 profiler 证据，而不是依赖吞吐数字。

为 Router e2e worker 限定显存预算并禁用 prefill 图，消除启动 OOM

建议精读，但重点不在 diff（只有 22 行、单一测试基建文件），而在 PR body 的诊断链路。值得关注三点：一是「KV 池按卡容量分配、slack 却被激活预留独占」这条内存计费缺陷的完整账本，它解释了许多人遇到过的‘小模型反而更容易 CUDA graph OOM’现象；二是把测试夹具参数收敛成单个 `CI_WORKER_ARGS` 常量、复用既有 `worker_args` 契约而不改读侧的设计手法；三是作者主动标注的后续动作——应针对 memory profiler 开 issue，让 KV sizing 为 graph capture 预留额度。评审/维护者后续应确认两件事：新增 e2e spec 是否强制携带 `CI_WORKER_ARGS`，以及在更大显存或非 H100 runner 上 0.6 这个比例是否仍然合适。

Router 新增在途 HTTP 计数，随响应体结束才释放

值得精读，但只需聚焦两个文件：`src/server/inflight.rs`（计数原语与 RAII 守卫的设计，全文是标准「streaming 会计」范式）与 `src/server/app.rs` 的 `count_requests`（唯一的接线点，一行 `resp.map(...)` 承载了全部语义）。阅读时重点回答三个问题：(1) 为什么守卫必须挂在响应体而不是 handler future；(2) 为什么必须是 `Drop` 而不是显式 decrement（客户端中途断开）；(3) 为什么 `Relaxed` 足够。测试部分值得看的是「非空性验证」思路 —— 作者通过把守卫改回 handler 出口释放来证明测试不是空断言，这种自我证伪值得借鉴。追 #39016 时建议回看本 PR，确认 drain 的等待条件确实基于这条 gauge，并补充 gzip / timeout 层下的在途观测。夹带的 `pd_protocol_binding.rs` 修复可略读。

DSV4.1 新增索引器内核，重做 Top-K v2 分派

建议精读，重点关注三处：`topk.py` 的探测驱动 JIT 宏与 `plan_topk_v2` 默认值语义、`topk_impl.cuh` 的 NaN padding 与 `coarse_bin_lower_bound` 的 round-to-even 补偿、`topk_v2.cuh` 的 `PageTransform` 解耦与 cluster 8/16 分派。四个值得学习的设计决策：用 NaN 而非极小值填充以保护合法的 -inf；用 ULP 步进而非重算 fp16 bin 处理 round-to-nearest-even；用 `cudaOccupancyMaxActiveClusters` 而不是 SM 数除法定 pool 尺寸（GPC 约束）；把 page-table 变换从选择内核解耦成独立结构以便两种输出模式共用。若负责索引器或 Blackwell 性能，建议先补齐 BBuf 要求的边界 benchmark 再信任这些阈值，并为三个新内核补注册测试。