Prhub

#37108 [mem_cache] Share one `ReqKvInfo` between a streaming session slot and its request

原始 PR 作者 hnyls2002 合并时间 2026-08-31 07:36 文件变更 4 提交数 2 评论 3 代码增减 +35 / -47

执行摘要

实现拆解

  1. 核心源码路径
    - python/sglang/srt/session/streaming_session.py(core-logic):源码主路径;涉及符号 _free_tail;包含 导入关系调整、控制流调整、配置键调整;+18/-28;关键符号:_free_tail
    - python/sglang/srt/managers/schedule_batch.py(core-logic):源码主路径;涉及符号 detach_kv;包含 符号定义调整;+5/-0;关键符号:detach_kv

  2. 测试与验证
    - test/registered/unit/mem_cache/test_streaming_session_unit.py(test-coverage):测试配套;涉及符号 detach_kv;包含 测试覆盖调整、配置键调整、符号定义调整;+8/-14;关键符号:detach_kv
    - test/registered/unit/spec/test_decode_bookkeeping_ownership.py(test-coverage):测试配套;包含 测试覆盖调整;+4/-5

文件 模块 状态 重要度
python/sglang/srt/session/streaming_session.py sglang/srt modified 7.2
python/sglang/srt/managers/schedule_batch.py sglang/srt modified 5.6
test/registered/unit/mem_cache/test_streaming_session_unit.py streaming/session/unit modified 5.54
test/registered/unit/spec/test_decode_bookkeeping_ownership.py decode/bookkeeping/ownership modified 4.12

关键符号

_free_tail detach_kv

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。

风险与影响

关联 Issue

#37094 [mem_cache] Move `req_pool_idx` into `ReqKvInfo`

完整报告

参与讨论