sgl-project/sglang

NPU 新增 ModelSlim W4A4 MXFP4 MoE 量化路径

值得 NPU 量化相关开发者精读。本 PR 展示了三个值得借鉴的设计决策：一是在 dispatcher 能力受限时选择 BF16 dispatch + 紧邻 GMM 前动态量化的延迟量化策略；二是通过 `use_mx_quant` 开关把 FP4 这类 torch dtype 对象无法直接识别的 MX 数据类型收敛进公共量化器；三是面对性能优化建议时以 profiling 数据为依据、明确拒绝并建议后续独立 PR，保持改动范围可控。

PD 传输中途 abort 的 KV 延迟释放，默认关闭

值得精读。这是典型的并发正确性修复 PR，设计论证质量高：单写者论证（一个 room 只由唯一 transfer worker 写与 ack）、dummy-proof 分母、先提交存活集合再逐个释放的事务式 resolve、以及“迟到 ack 不污染复用房间”的防御，都是值得借鉴的模式。若团队正在使用 PD 解耦并遇到偶发错答，应重点评估开启该特性的条件与 30 秒超时假设。

NPU CI 排除 multimodal-gen 测试的 fast-fail 级联

这是一个价值明确的 CI 防御性改进，逻辑直白但模式值得注意：用 health-check 步骤从 GitHub Actions run 内部分离 root cause 失败与级联失败。建议快速浏览两个 workflow 的过滤函数，理解 SGLang NPU CI 的快速失败机制；若后续要扩展，可考虑把 job 名过滤清单收敛为单一常量或配置文件，避免双份维护。

重构 NPU CI 日志输出目录，nightly 单节点改 suite 模式

值得精读，特别是以下三个设计决策：1）`run_start_metadata` 单点记录运行元数据并用 fromJson 分发的模式，避免了多参数透传的冗余与不一致；2）partition 并行 + concurrency group 追加 partition id 的组合，既控制 job 时长又防止并行 job 互相取消；3）测试工具对 suite 级 `METRICS_DATA_FILE` 的回退兼容设计，让同一份工具代码同时服务 PR 与 nightly 两种布局。建议 CI 维护者关注路径解析启发式在后续布局演进时的脆弱性。

H3 新增 INT8 量化与可插拔注意力，24GB 单卡提速 2.48×

值得精读。本 PR 的决策质量体现在三处：一是用实测而非猜测定位瓶颈（Nsight 数据 + 排除 PCIe/框架开销），二是“在线量化而非离线 checkpoint”的布局论证（qkv 分组重排导致离线量化为静默错误），三是对 CUTLASS Stream-K 配置选择的深入分析（21k CTA 已能填满 GPU，Stream-K 反而是纯开销）。这些分析比最终的 kernel 加速更有复用价值。

prefill 延迟队列目标改用 admission capacity 封顶

值得调度器方向的读者精读。重点学习两点：一是用配置容量替代运行时观测高水位做目标封顶的取舍；二是保留 fallback 保证向后兼容的写法。单测构造的 max_prefill_bs=1 场景清晰复现问题，可作为同类调度修复的测试范式。若后续要推广，建议补充真实流量下 TTFT 与 prefill 批大小的基准数据。

Cosmos3 管线新增 RL rollout 支持及 fused 权重路由

值得精读，尤其是两个设计决策：一是 rollout 调度网格的继承策略（显式 shift 重建 vs 继承 serving grid），二是 fused 参数通过 weight_loader 的 shard id 路由，这为扩散模型 LoRA/后训练权重同步提供了干净的数据契约。阅读时可结合其依赖的 #34933（fused LoRA adapters）与 #34491（LoRA IPC fix）一起看，能更完整理解 Cosmos3 后训练链路的演进。

ops/diffusion 按算子域重组并加懒门面统一导出

值得精读。该 PR 是 kernels 组织方式的架构级调整，核心看点有三：一是 PEP-562 懒门面的实现与"导出表 + 注册表 + 静态扫描守护"的组合，为多后端并存的算子库提供了可复制的组织范式；二是将"返回 None 表示不支持"改为"谓词 + raise"的入口协议，直接消除了扩散模型 denoiser 中静默出错的最坏失败模式；三是测试重组展示了大文件合并时如何用参数化消除真实重复、并识别非本域的测试归属。建议后续新增算子或 backend 时对照 README 选择矩阵与 test_import_surface 的约束进行扩展。