sgl-project/sglang

修复 Inkling 模型从 gs:// RunAI 路径加载量化配置失败

值得快速阅读，作为云存储路径接入的修复样板。核心思路是在路径解析时先判断 URI 类型，再选择下载策略，代码短小清晰。如果想要深入学习，可结合 `sglang.srt.utils.runai_utils` 中的 `ObjectStorageModel` 实现，了解对象存储下载的缓存与生命周期管理。建议关注后续是否补充测试。

修复 NgramEmbedding 传 0 维 tensor 致 Triton 编译崩溃

值得精读：核心修复仅一行 `int()`，但揭示了「CUDA tensor 传入需 `tl.constexpr` 的 Triton 参数」这一通用崩溃模式；更重要的是 `overrides.py` 中 LongcatFlash 排除背后的架构语义——LongCat 的 top-k 选择跨越零专家 logits，与 trtllm-gen fused routing 不兼容，是理解 LongCat 与 DeepSeek 家族 MoE 差异的关键材料。

按节点数拆分 MI355X nightly 测试为 2N/4N 两阶段

值得快速浏览。重点看两点：一是按硬件拓扑拆分 CI 矩阵的模式（关键字分组 + 空矩阵跳过 + 未匹配报错），对多节点 nightly 测试有通用参考价值；二是 YAML anchor 复用步骤的写法，可作为团队内部 CI job 模板化的范本。AMD/CI 相关的维护者可精读，其余成员了解即可。

默认开启 MoE deferred finalize 并移除 dtype workaround

值得快速浏览而非精读：改动量很小（+6/-13），核心决策是借助上游修复清理 workaround，并通过默认翻转让既有测试自动覆盖新路径，同时保留环境变量回退。对维护者的启发：当本地 workaround 对应的上游修复落地后应及时清理；对 DeepSeek-V3 NVFP4 业务方，建议升级后关注 4×B200 精度指标，若出现异常可先设 SGLANG_ENABLE_MOE_DEFERRED_FINALIZE=False 定位。

SM90 per-tensor FP8 改走 FlashInfer，prefill 提速 15.6%

值得精读，且改动集中（约 40 行、2 个文件），阅读成本很低。三个值得学习的点：(1) 用数据而不是架构承诺做路由决策——SM90 收益、SM89 回退，作者测量后把 Ada 排除出谓词；(2) 加载期与运行期条件统一的思路，消除静默降级路径；(3) 基准方法论：CUPTI 计时、冷 L2（L40 的 96MB L2 能装下 31MB 权重）、双机复测、区分 CUTLASS 3.x 与 TRT-LLM 手调 tile 表来解释架构差异。阅读时注意 PR body 中的基准数据比合并后的代码更能说明设计动机。

统一算子分派体系，MultiPlatformOp 并入 BaseFusedOp

值得精读：这是理解 sglang 算子抽象与 HAL 方向的核心 PR。重点看：分派优先级设计（fused_op.py 模块 docstring）、`_defined_method` MRO 判断、`_torch_compile_forward` 钩子替代类名匹配、MUSA 显式 opt-in 的原因分析（review 中有完整论证）。建议后续：补 AMD/XPU/NPU CI 覆盖，OOT 插件迁移窗口期后删除 alias。

B200 扩散模型默认切 cuDNN SDPA，比 FA4 快 1.3-1.5 倍

值得精读。该 PR 是一个「以数据驱动改变默认值」的优秀范例：先修正外部结论（FA2 baseline → FA4 baseline），再用 11 个真实 shape 的 microbenchmark 和 9 轮端到端 A/B 支撑决策；同时通过 fail-safe 链、NVFP4 数值保护和单测把变更风险压到最小。值得关注的设计决策包括：sm_100 专用 gate 与 Hopper 启发式并存、`_cudnn_failed` 按层锁存避免重复探测、`return_softmax_lse` 强制走 FA 以兼容 ring attention、以及加载期 context manager 实现量化默认后端的局部覆盖。

sgl-kernel 版本 0.4.5 统一升级至 0.4.6

不值得精读，属于自动发版流程的一部分，可快速审查版本号一致性后合入。值得关注的细节是：CUDA、CPU、MUSA、ROCm 四个平台的构建配置与运行时版本常量必须同步更新，可在已发布的 0.4.6 包上核对 sgl_kernel.__version__ 与 importlib.metadata.version('sglang-kernel') 是否一致。