sgl-project/sglang

升级 Torch 2.13/MLX 0.32，重设计零拷贝张量桥

值得精读，尤其是 `python/sglang/srt/utils/tensor_bridge.py` 的所有权契约（owned vs borrowed 三个层次）与负 stride 物化设计：它把「双框架共用同一块 Metal 内存」的竞态、生命周期问题显式化，并用 RLock 串行化完整穿越、用 DLPack 消除 payload 拷贝。对任何做 Torch + 其他运行时张量桥的团队都有直接借鉴意义；`runtime.py` 的版本门控矩阵（拒 rc/dev、Torch 锁系列、MLX 只设下限）也是可复用的 fail-fast 模式。

新增 W4A4 MegaMoE 统一 server flag，替代两个 SGLang 环境变量

值得精读。这是一个典型的“配置入口收敛”PR，样本价值在于三处：一是 handler 抽取到 `arg_groups` 与同期 config bags 重构的协同方式；二是“运行时环境变量转发 → 启动期 flag 注入”的端到端迁移路径（含 `mega_moe.py` 运行时读取点的同步收敛）；三是文档数据契约（`_playground.jsx` 的 derive/apply、三个模型 snippet、模板）与代码变更的强联动。对计划新增或收敛 server flag 的开发者有直接参考价值，无需精读 kernel 实现。

offload 按层发放固定内存，大组件也能部分驻留

值得精读。这是 diffusion offload 内存管理的一次精细重构，四个缺陷的发现与修复过程很有代表性：重复计费、毛额/净额、过度承诺、静默 fallback。重点看 `_plan_layer_hosting` 的优先级设计（streamed 优先于 resident、尾部归还）与 `anonymous_new_bytes` 的净成本思维，以及测试如何用 `torch.from_file` 构造真实 checkpoint 映射场景来模拟 50 GiB 级问题。

原生组件加载器对不支持的量化检查点 fail-closed 拒绝

建议精读。值得关注的设计决策包括：一是复用 SRT 的 `resolve_checkpoint_quant_spec` 而不是在 `multimodal_gen` 内自建量化元数据解析，避免双份解析逻辑漂移；二是用继承 `PlainStateDictComponentLoader` 的方式收敛 6 个 loader，让准入边界成为模板方法而非复制粘贴；三是 upsampler 的“先读显式配置做检查、再读权重”顺序，把拒绝点前移到 IO 之前；四是测试用 `resolve_model_cls.assert_not_called()` 和 `safetensors_load_file.assert_not_called()` 这类副作用断言，精确验证 fail-closed 发生在哪个阶段，是值得复用的测试模式。

CPU 启动的 VAE 权重保留文件映射，显著释放主机内存

值得精读。核心看点：一是 file-backed 映射与匿名内存的取舍——匿名页无法被 page cache 回收，而映射首次使用要付缺页，门控以“整个部署权重 vs 可用主机内存”为决策基准而非单个组件；二是 `_match_checkpoint_dtypes` 把“必须拷贝的张量”精确限定为 dtype 不匹配者；三是 CI 性能基线如何推动设计修正。若要借鉴此模式，可关注瞬时内存测量与统计口径的边界情况。

修复 Granite sinks dtype 读取，改用 exec bag

值得快速浏览，因为它是清除 legacy 全局 shim 的系列改动之一，且为后续修复 split launch dtype 问题埋下了 TODO。可以关注 `granite.py` 和 `gpt_oss.py` 的一致性，以及未来针对 split launch 的修复。

RAGGED prefill top-k 切换至 v2 JIT 内核，extend 提速 1.3-1.8×

值得精读。该 PR 是 CUDA kernel 性能优化的优秀样本：`bias` 字段配合编译期折叠实现零开销接口扩展；in-place 掩码把未对齐窗口的代价压到最低；测试用哨兵分数让任何窗口外泄漏立即暴露。建议重点阅读 `topk_v2.cuh` 中 `topk_ragged_kernel` 的注释论证、`dsa_topk_backend.py` 的 dispatch 条件，以及 `test_topk_v2.py` 的 `OUTSIDE_SCORE` 设计与写范围断言。合并前需确认 AMD ROCm CI 失败是否为既有 known failure。

DSV4 FP4 检查点自动选 FlashInfer MXFP4 MoE runner

值得精读。重点学习两点：一是「自动默认值」的 fallback 条件设计——平台、架构白名单、A2A 模式、反量化环境变量、显式用户选择逐层让位，避免默认值吞噬用户意图；二是单元测试的矩阵化写法，用 `patch.object` 逐项钉住每个 fallback 分支。FP4 + DeepEP/A2A 用户应验证自己的启动组合是否仍可用。