标签列表
聚合结果
重构 hicache 解码端卸载管理器，简化状态簿记，消除潜在内存泄漏。
该 PR 是一个高质量的、必要的重构。它解决了之前实现中的几个设计问题，提升了代码的健壮性和可维护性。建议精读，特别是 `_release_finished_req` 方法的新逻辑以及弱引用机制如何与 `ongoing_offload` 中的强引用协同工作。这对于理解 hicache 模块的内部工作原理和防止未来引入类似的内存管理问题非常有价值。
修复多模态特征传输失败导致的进程级崩溃，实现跨 rank 错误共识与资源安全释放。
本 PR 是一个**高价值的关键 bug 修复**，强烈建议精读。它解决了一个可能导致生产环境进程崩溃的严重问题，并引入了严谨的分布式错误处理模式。核心设计决策——延迟错误、跨 rank 共识、防御性资源释放——对于理解 SGLang 如何处理多模态输入失败非常有启发性。建议重点审查以下方面：1) `scheduler.py` 中 `_materialize_cuda_vmm_inputs` 和 `_gather_vmm_materialization_errors` 的错误收集与同步逻辑；2) `mm_utils.py` 中 `ShmPointerMMData` 的 `__setstate__` 和 `close_and_unlink` 方法如何安全处理各种失败场景；3) `schedule_batch.py` 中 `release_transport_proxies` 的实现及其在 `from_processor_output` 和 `set_finish_with_abort` 中的调用点。新增的单元测试覆盖了核心失败路径，值得参考。
修复 7 个测试的 kv mock，改用真实 ReqKvInfo
值得快速浏览（约 5 分钟）：它不是一个复杂 PR，但体现了“测试 fixture 尽量使用真实数据结构而非鸭子类型 mock”的工程原则。对于后续要编写 mem_cache / KV 相关测试的开发者，这个 PR 是推荐的 fixture 写法范例，无需精读实现细节。
原始 PR · 作者 caihuali95 · 合并时间 2026-09-01 10:55
修复 wrapper 后端未转发 KV 翻译器致 MLA 前缀缓存读错
值得精读。核心价值不在 1 行转发，而在两点设计：一是对“静默正确性损坏”的防御策略——启动断言让错误在部署时暴露而非推理时污染结果；二是对象图测试如何通过“只给正确来源携带 translator”来精确验证转发来源，并用 AST 推导保证新 wrapper 自动纳入检查。该模式可推广到其他带默认 `None` 类属性、需要透传内部状态的包装器场景。
原始 PR · 作者 caihuali95 · 合并时间 2026-09-01 06:08
统一内存混合模型路径 4 项启动与正确性修复
值得精读。这是 unified-memory 混合模型路径上线后第一批系统性缺陷修复，对以下读者尤其有价值：① 维护 mem_cache / 分配器相关代码的工程师——释放路径的 host 同步分析（标量 RHS H2D 阻塞、torch.unique D2H 计数）与 free_segment 步长推导是通用 GPU 内存管理经验；② 关注内核契约与 matcher 关系的读者——「matcher 强于内核真实契约」的判断方法可迁移到其他 JIT 内核；③ 测试设计爱好者——AST 源码扫描 + mock.patch 拦截 torch.unique + 功能测试三层护栏的组合非常值得借鉴。建议重点阅读 multi_ended_allocator.py 的 free/free_segment/_page_reps_pieces 与 swa_component.py 的 _page_pairs/_transfer_swa_pages，以及两个对应测试文件的 docstring（它们本身就是完整的设计文档）。
KV 释放、复用断言与存在性检查统一走 KV record
值得精读。重点看 `memory_pool.py` 的 `alloc` / `free` 断言设计与 `scheduler_pp_mixin.py` 的统一释放路径。本 PR 是“断言应基于记录状态而非派生字段”的样板：`holds_kv` 与 `kv_allocated_len` 的语义可以直接复用到后续 unified-memory 改造中。若团队正在做 KV ownership 或 radix cache 相关重构，建议合入后密切观察 dllm / disagg / pp 路径是否有新断言触发。
原始 PR · 作者 merrymercy · 合并时间 2026-09-01 03:31
Rust 采样与线上结构对齐 Python，新增双语言 lockstep 测试
值得精读。核心值得学习的是 lockstep 测试模式：用最少的成本把一个位置型协议约束在 Python 单元测试里，适合推广到其他 Rust/Python 双实现结构。需要注意该方案依赖源码文本与相对路径，长期建议改由构建期生成 schema 或共享常量来消除脆弱性。
原始 PR · 作者 merrymercy · 合并时间 2026-09-01 03:30
Rust server 地址改为派生，env 解析支持负数
值得精读，重点关注四个设计决策：①「配置派生 vs 调用方传入」——把地址计算收敛到 Rust 侧，启动边界只有一个事实来源；②env_i64 与 Python EnvInt 的符号对齐策略，以及 warn-and-default 的容错约定；③负数哨兵模式（-1 = 禁用限制）通过 batch_size_exceeds_limit 封装比较，避免 usize/i64 混用；④review 中作者自我否决 server.rs 命名的过程，体现模块命名的克制原则。