2026-09-01
修复多模态特征传输失败导致的进程级崩溃，实现跨 rank 错误共识与资源安全释放。
本 PR 是一个**高价值的关键 bug 修复**，强烈建议精读。它解决了一个可能导致生产环境进程崩溃的严重问题，并引入了严谨的分布式错误处理模式。核心设计决策——延迟错误、跨 rank 共识、防御性资源释放——对于理解 SGLang 如何处理多模态输入失败非常有启发性。建议重点审查以下方面：1) `scheduler.py` 中 `_materialize_cuda_vmm_inputs` 和 `_gather_vmm_materialization_errors` 的错误收集与同步逻辑；2) `mm_utils.py` 中 `ShmPointerMMData` 的 `__setstate__` 和 `close_and_unlink` 方法如何安全处理各种失败场景；3) `schedule_batch.py` 中 `release_transport_proxies` 的实现及其在 `from_processor_output` 和 `set_finish_with_abort` 中的调用点。新增的单元测试覆盖了核心失败路径，值得参考。
升级 MoRI 依赖，修复 ionic RoCE 上 KV 传输 EOF 错误
作为一行依赖版本升级，无需精读实现细节；但 AMD、hi-cache、disaggregation 相关团队应关注验证结论与 CI 失败项，建议合入前确认 Extra/AMD ROCm 7.2 流水线失败是否与本次 bump 相关。值得关注的设计决策是：将 MoRI 的 pin 放在 Dockerfile ARG 中并附带 NIXL/UCX 构建注释，便于快速定位和追踪上游依赖版本。
修复 7 个测试的 kv mock，改用真实 ReqKvInfo
值得快速浏览（约 5 分钟）：它不是一个复杂 PR，但体现了“测试 fixture 尽量使用真实数据结构而非鸭子类型 mock”的工程原则。对于后续要编写 mem_cache / KV 相关测试的开发者，这个 PR 是推荐的 fixture 写法范例，无需精读实现细节。
修复 wrapper 后端未转发 KV 翻译器致 MLA 前缀缓存读错
值得精读。核心价值不在 1 行转发，而在两点设计：一是对“静默正确性损坏”的防御策略——启动断言让错误在部署时暴露而非推理时污染结果；二是对象图测试如何通过“只给正确来源携带 translator”来精确验证转发来源，并用 AST 推导保证新 wrapper 自动纳入检查。该模式可推广到其他带默认 `None` 类属性、需要透传内部状态的包装器场景。
修复 MiniMax-H3 DiT block-FP8 加载静默产出空白帧
值得精读。这是一个经典的量化元数据与权重布局一致性缺陷：根因定位链条完整（布局契约 → 行数门控失效 → 块计数），修复通过类型判断（`BlockQuantScaleParameter`）与块计数缩小重排粒度，并对无法修复的配置显式 fail-fast。实现与测试共同定义了可复用的加载契约，对后续支持其他 DiT 模型或其他 block 量化格式的 checkpoint 加载器有直接借鉴意义。
统一内存混合模型路径 4 项启动与正确性修复
值得精读。这是 unified-memory 混合模型路径上线后第一批系统性缺陷修复，对以下读者尤其有价值：① 维护 mem_cache / 分配器相关代码的工程师——释放路径的 host 同步分析（标量 RHS H2D 阻塞、torch.unique D2H 计数）与 free_segment 步长推导是通用 GPU 内存管理经验；② 关注内核契约与 matcher 关系的读者——「matcher 强于内核真实契约」的判断方法可迁移到其他 JIT 内核；③ 测试设计爱好者——AST 源码扫描 + mock.patch 拦截 torch.unique + 功能测试三层护栏的组合非常值得借鉴。建议重点阅读 multi_ended_allocator.py 的 free/free_segment/_page_reps_pieces 与 swa_component.py 的 _page_pairs/_transfer_swa_pages，以及两个对应测试文件的 docstring（它们本身就是完整的设计文档）。
保留引擎启动前的延迟解析声明，防止 Dynamo 配置被丢弃
值得精读。虽然 diff 极小，但它定义了一个重要的状态语义契约：`_resolved_overrides` 不再是解析管线的内部临时变量，而是 launcher 与引擎之间的声明通道。阅读重点：`run_resolution_pipeline()` 的初始化顺序、`declare_late_resolution()` 的 append 语义、以及 dummy 路径下声明跨多次解析存活的隐式不变量。对维护配置解析、launcher 集成的工程师有直接参考价值。
修复 Mooncake benchmark 字典行下访问 prompt 崩溃
值得简单浏览：原因在于它展示了如何在 benchmark 入口区分‘数据格式未转换’与‘已转换的强类型对象’，以及如何避免在公共入口中堆积数据集特判。Mooncake 相关逻辑仍集中在 `serving.py`，未来可考虑将 trace 行的转换提前到数据加载阶段，从根上消除这类分支。
