标签列表
聚合结果
重构 hicache 解码端卸载管理器，简化状态簿记，消除潜在内存泄漏。
该 PR 是一个高质量的、必要的重构。它解决了之前实现中的几个设计问题，提升了代码的健壮性和可维护性。建议精读，特别是 `_release_finished_req` 方法的新逻辑以及弱引用机制如何与 `ongoing_offload` 中的强引用协同工作。这对于理解 hicache 模块的内部工作原理和防止未来引入类似的内存管理问题非常有价值。
LayerNorm 序列并行：prefill 激活内存与延迟双降
值得精读，尤其三个设计决策：(1) CUDA graph 下捕获区内写入的 Python 标志在回放时过期这一问题的识别与 `runs_sp` 规避方案；(2) `LayerCommunicator` 构造全 `SCATTERED` sibling 的委托模式，避免在每个模型里打点；(3) fused matmul+collective 的可用性探测与普通 collective fallback 策略，兼顾性能与跨 torch 版本兼容性。对后续做任何序列切分、通信融合类特性都有直接参考价值。
原始 PR · 作者 caihuali95 · 合并时间 2026-09-01 06:10
unified 池泛化至 N 子池，新增浮动池支撑 mamba+SWA 三态 KV
值得精读。三个设计决策尤其值得关注：一是 `_CapacityField` 用数据描述符 + epoch 让容量 memo 失效"按构造"发生，避免了散落的失效钩子；二是 `_float_open_short_side` 的 demand-vector 策略，使单带宽短供、耦合多带分配、未来组合准入向量统一为一种表达；三是 `_relieve_for_alloc` 将 flush/relocate/evict 收敛为单一 ladder。建议结合 test_unified_capacity_memo.py 与 test_multi_ended_allocator.py 的测试方法论阅读，这两份测试的防御深度（属性测试 + 反射扫描 + 伪装写入探测）本身就值得借鉴。
原始 PR · 作者 caihuali95 · 合并时间 2026-09-01 06:09
统一内存按字节预算定容，新增守恒校验与 bs=1 可行性检查
值得精读。核心设计决策包括：allocator-owned hook + 默认逐位兼容、诊断只读不 raise 的可用性取舍、`_reserved_floor_bytes` 单一事实来源、方向无关的 chain 排序、flooring 而非 rounding 的 4096 B 对齐。对想理解 SGLang 统一内存池演进方向（N 子池、字节准入）的工程师，这是很好的中间态样例，建议结合 #35154 与 #35177 一起阅读。
KV 释放、复用断言与存在性检查统一走 KV record
值得精读。重点看 `memory_pool.py` 的 `alloc` / `free` 断言设计与 `scheduler_pp_mixin.py` 的统一释放路径。本 PR 是“断言应基于记录状态而非派生字段”的样板：`holds_kv` 与 `kv_allocated_len` 的语义可以直接复用到后续 unified-memory 改造中。若团队正在做 KV ownership 或 radix cache 相关重构，建议合入后密切观察 dllm / disagg / pp 路径是否有新断言触发。
原始 PR · 作者 merrymercy · 合并时间 2026-09-01 03:31
精简 GenerateBody 反序列化注解并文档化 batch header ABI
值得快速阅读，重点看两处：请求体 Option 字段删除 serde(default) 的清理模式，以及 BatchHeader 的 direction_family_shape 命名契约文档。如果后续要改 batch header 或新增 extras 列，应严格遵循该命名语法并保持与 Python header_cols 顺序一致。
原始 PR · 作者 merrymercy · 合并时间 2026-09-01 03:31
Rust 采样与线上结构对齐 Python，新增双语言 lockstep 测试
值得精读。核心值得学习的是 lockstep 测试模式：用最少的成本把一个位置型协议约束在 Python 单元测试里，适合推广到其他 Rust/Python 双实现结构。需要注意该方案依赖源码文本与相对路径，长期建议改由构建期生成 schema 或共享常量来消除脆弱性。
原始 PR · 作者 merrymercy · 合并时间 2026-09-01 03:30
Rust server 地址改为派生，env 解析支持负数
值得精读，重点关注四个设计决策：①「配置派生 vs 调用方传入」——把地址计算收敛到 Rust 侧，启动边界只有一个事实来源；②env_i64 与 Python EnvInt 的符号对齐策略，以及 warn-and-default 的容错约定；③负数哨兵模式（-1 = 禁用限制）通过 batch_size_exceeds_limit 封装比较，避免 usize/i64 混用；④review 中作者自我否决 server.rs 命名的过程，体现模块命名的克制原则。