sgl-project/sglang

修复 Qwen-VL ViT CUDA graph 按布局复用与工作区地址绑定

值得精读。重点学习两个设计决策：一是 CUDA graph key 必须包含请求级元数据（仅按长度复用是典型的 graph 陷阱）；二是用“退役旧分配 + 按 graph 绑定地址”解决 capture 后地址失效问题。`_sequence_layout_key` 把同步从查找路径挪到 CPU 预处理的做法，也值得其他 CUDA graph runner 复用。

Cache-DiT 与层间卸载解除互斥，低显存加速达 6.8×

值得精读。核心设计决策“只信任真正运行的层”把两个正交特性的耦合点收敛到一个状态字段和两个释放函数上，改动极小却解决了复杂的顺序/跳层竞态；参数化测试矩阵（Fn/Bn × prefetch_size × residency policy × hit/miss/hit-again 序列）是很好的回归防护。建议关注三个细节：post-hook 记录 _last_forwarded_layer 的时机、_release_skip_gap 与 _retained_set 的差集保护、以及 prepare_for_next_req 对 Bn=0 遗留预取的兜底清理。

修复 VLM 解码错误分类与预处理池故障恢复

值得精读。该 PR 展示了如何优雅处理多进程池故障：将阻塞提交移出事件循环、用锁保证并发替换幂等、用后台线程清理旧池，以及用 `asyncio.shield` 配合 `gather(return_exceptions=True)` 做取消安全的资源清理。这些模式可复用于其他依赖进程池且需要异步超时的场景。建议关注池创建失败和取消延迟两个边界，后续可考虑补充对应测试。

为原生 VAE 增加组件级直接 GPU 权重流式加载

值得精读。重点关注 3 个设计决策：一是「拒绝优先于回退」的 fail-fast 原则如何在 3 层准入中落地；二是 meta 设备构造 + 流式逐张量赋值的加载模式，以及 `_direct_gpu_vae_state_slots` 对标准 ABI 的严格校验（函数对象同一性、集合全等、tied 参数拒绝）；三是 `ComponentLoader` 基类能力门控的可扩展性。阅读时建议对照 `test_vae_loader.py` 的 `TestDirectGPUVAEState` 理解预期行为边界。

按模型家族拆分配置覆盖声明，守卫字段重叠

值得精读。重点关注三处设计：一是 `model_override_base.py` 的双视图设计——`ResolvedView`（构造时快照 overlay，适合 post-process pass）与 `ResolvingConfig`（每次读取遍历 stash，适合声明后的实时读取），以及 `collect_model_override_declarations` 的 last-writer-wins 语义；二是"用测试禁止重叠代替 pin import 顺序"的决策，这是对 import 副作用注册体系的正确解耦；三是 `test_model_source_paths.py` 的 mutation 验证方法，展示了如何证明测试真的有效而不是假设有效。后续维护者新增模型家族时应遵守 `model_overrides/` 目录约定并保持单字段单一归属。

读者端配置改问 bags，平台事实统一单地址

值得精读。该 PR 展示了大型配置重构中「机械化迁移 + 语义守卫」的组合拳：每个提交独立可审（commit 3 是风险点，commit 7/10 是它的两个逃生口）；`PlatformContext` 的单一地址设计、`test_pre_publish_readers.py` 从启动源码 AST 派生保护集、`test_platform_address_not_frozen.py` 的模块级冻结扫描都是可复用的测试模式。建议重点阅读 runtime_context.py 的 PlatformContext/override_platform、commit 3 的转换判据（has the reader's process published yet），以及 PR body 给出的三连问（何时运行、持有谁的 record、关闭写回是否破坏了这一处）。同时注意两条未解决的 Codex 意见（describe_kv_events_publisher 的 load_endpoint、冻结扫描覆盖盲区），合并后值得跟进修复。

拒绝分布式执行请求下的原生 Diffusers transformer 回退

值得精读。核心价值不在代码量，而在「准入控制优于静默降级」的设计取舍：用模板方法 + hook 把契约校验注入所有组件 loader，避免了逐个模型特判；报错信息刻意列出全部冲突项并给出两条修正路径，属于良好的用户引导实践。关注 `ComponentLoader` 基类的两个 hook 与 `TransformerLoader` 的具体实现，可作为后续组件加载准入逻辑的参考范式。

修复 fused RoPE 丢弃 mrope 高度宽度坐标

值得精读，尤其是 kernel 层与 rotary 层配合的写法。关注 4 个设计点： 1. 用 `MROPE: tl.constexpr` 区分 1-D 与 mrope 特化，既修复 bug 又不损失 1-D 性能（两个 benchmark 数据佐证）。 2. 行距取 `positions.stride(0)` 而不是 3，兼容 CUDA-graph decode 从宽 buffer 切出的子行。 3. `_build_axis_map` 将三种布局收敛为统一契约，并用 `_legacy_axis_map` 隔离新旧 kernel 的输入差异。 4. 测试特意使用三轴互不相同的位置（t != h != w）来捕捉“只取 row 0”类 bug，并复现 CUDA-graph 的 buffer 切片场景。