sgl-project/sglang

decode offload 状态改按 Req 实例隔离，修复 rid 重用竞态

值得精读。这是一次教科书式的异步生命周期键选择修复：通过将簿记键从“外部可重用的身份标识”切换为“内部持有确切引用的对象实例”，从根本上消除了跨请求状态串扰，且改动面极小。建议关注三点：一是 `Req` 对象作为字典键的哈希语义约定；二是 `_check_offload_progress` 中 ack 处理顺序与 `finish_event.synchronize()` 的配合；三是回归测试“先构造同 rid 双请求、再让迟到 ack 到达”的写法，可作为类似竞态复现的模板。

修复 per-rank MoE 共享专家标记重复发射，杜绝 top-k 缩水与 id 越界

值得精读。这是一个典型的"静默缺陷因果链分析"范例：PR body 把两个无报错缺陷的完整因果链（槽位被占 -> top-k 缩水；id 越界 -> remap 后出界）讲得非常清晰，并诚实评估了端到端 benchmark 的统计分辨力。对于维护 MoE 路由代码的工程师，建议关注 select_experts 中多调用点参数一致性的设计方式，以及后续补充一个构造性单元测试来锁定 top-k 语义与 id 边界。

gpqa/aime25 评测统一到 sgl-eval，删除 1800+ 行死代码

值得精读 run_eval.py 的改动：_run_sgl_eval 中 reasoning_effort/seed/repeat 的透传方式，是评测框架迁移时最容易踩的坑，本 PR 给出了正确处理；三 sigma 基线重测方法论与 CLI 参数清理清单也可直接复用。整体属于评测基础设施清理，不涉及推理核心路径，适合作为「评测统一化」类 PR 的参考模板。

修复 tokenize 接口对 HF 无限长标记的序列化崩溃

值得快速阅读：5 行改动展示了处理第三方库序列化约束的保守策略——只替换会出错的值而非一刀切。可关注两点：一是 ORJSON 64 位范围与 HF 无限标记的冲突是同类端点都可能踩的坑；二是建议后续补一个注册在 test/registered 规范位置的轻量单测，覆盖无限标记回退路径，避免回归。

广播 rank 0 采样决策，修复 DSpark/DFlash TP 分歧死锁

值得精读。这是投机解码 TP 一致性的系统性修复，展示了三类有价值的设计决策：CUDA graph 内执行 collectives 的约束与回退策略；'在决策派生任何状态前广播'比'在消费点同步'更安全的设计原则；用环境变量按站点裁剪做线上故障 bisection 的方法论。特别值得学习评论区中 hnyls2002 的两次纠错——一次要求补 budget 同步、一次基于纯函数推导撤销该要求并实测 50 us host-blocking 开销，构成性能关键路径上'最小同步集'的推导与验证闭环。阅读时可重点对比 commit 1c1e458（回到普通 broadcast）与 050df8e（移除 budget 同步）背后的权衡。

限流 SM90 FP8 路由至大 M 包络，修复 decode 回归

值得精读。虽然仅 9 行改动，但它是“基准驱动路由选择”的教科书案例：先用宽网格确定优势面，再用随机化边界确认锁定阈值，最后对噪声区域采取保守策略。内核维护者和 FP8 性能工程师可以复刻这套验证协议；普通使用者了解结论即可——decode 一律走 AOT，大 prefill 宽投影走 Torch。建议后续为路由谓词补充形状注释表与轻量单测，防止回归。

重调 W4AFP8 requant 启动几何，decode 内核提速最高 12x

值得精读。三个设计决策有普适价值：1) tile 大小以 bytes-per-lane 而非元素数定义，天然兼容 wave32/wave64 厂商差异；2) 行估计必须向下取整到 2 的幂，与 dispatch_a 的上取整形成互补而不是叠加（否则每个 2 的幂边界 m-grid 翻倍）；3) 两阶段行调度（per-expert strided + 全局溢出共享）解决“平均值掩盖峰值”的经典调度问题，并用 row_cap slack 2x 在均匀负载代价（13-20%）与偏斜回归之间取平衡。阅读时建议对照 PR body 的性能表和提交历史中的 “share overflow rows”、“tile per lane” 两个关键演进提交。

修复 pynccl 分配器在 torch 2.7/NPU 启动崩溃

值得精读。核心看点有三个：(1) 用「调用点 `torch._C` 惰性查找」替代「try/except + `None` 哨兵」的设计取舍，alexnails 的评论点出了 `None` fallback 会掩盖真实 CUDA 安装损坏的深坑，这个思考对任何跨版本私有 API 兼容处理都有借鉴价值；(2) 静态 AST 回归测试是平台兼容性测试的优秀范本——不需要目标硬件、不修改共享模块状态、可在任何版本上防回归；(3) 平台 hook 的 `declare_resolution` 声明式降级模式，与同文件 `handle_nccl_pre_warm` 形成一致的设备门控风格。建议合并后配合 issue #28999 的验证者（Ascend 910B）确认端到端推理不受 FlagGems 外部 bug 影响。