Prhub

#21901 Support PP key for file backend

原始 PR 作者 hzh0425 合并时间 2026-04-02 12:23 文件变更 1 提交数 1 评论 5 代码增减 +9 / -5

执行摘要

为 HiCache 文件后端添加流水线并行(PP)键支持,扩展存储配置命名空间。

根据PR body中的描述,主要动机是'Adding support for the keys required by pipeline parallelism (PP) in FileBackend',并且明确指出'compatibility issues between HiCache and PP will be addressed in a follow-up PR'。这表明这是一个为后续完整兼容性解决方案做准备的增量变更。

建议关注此PR作为HiCache支持流水线并行的第一步。虽然变更本身简单,但需要理解其在整个兼容性解决方案中的定位。重点关注配置后缀生成逻辑的变化,以及后续PR如何在此基础上构建完整功能。

讨论亮点

review讨论非常有限,只有ispobock的批准而无具体评论。但在关联Issue的评论中,stmatengss提到'compatibility issues between HiCache and PP will be addressed in a follow-up PR'并询问是否与PR #15175相关,这暗示了可能存在跨PR的协调需求。作者hzh0425没有直接回应此问题,仅展示了测试运行结果。

实现拆解

实现集中在hicache_storage.py文件的FileBackend类初始化方法中。主要改动包括:

  1. storage_config中提取新增的pp_rankpp_size参数;
  2. 修改配置后缀生成逻辑:当pp_size > 1时,在原有后缀基础上追加_{pp_size}_{pp_rank}
  3. 保持原有MLA模型和非MLA模型的后缀生成逻辑不变,仅扩展PP支持。
文件 模块 状态 重要度
python/sglang/srt/mem_cache/hicache_storage.py mem_cache/hicache modified 7.0

关键符号

__init__

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

与 PR #15175 的关联性 question

stmatengss 询问此 PR 是否与处理 HiCache 和 PP 兼容性问题的 PR #15175 相关

结论:未得到明确回复,作者仅展示了测试结果 · unresolved

风险与影响

风险较低但需注意:

  1. 配置后缀格式变更可能影响现有缓存文件的查找逻辑,如果已有缓存使用旧格式,可能导致缓存失效;
  2. 新增的enable_pp = pp_size > 1条件判断逻辑简单,但需要确保pp_size参数在所有场景下正确传递;
  3. 缺少对PP相关参数边界情况的测试覆盖(如pp_size=0或负值)。

影响范围有限但重要:

  1. 对用户:无直接影响,这是内部存储后端的实现细节;
  2. 对系统:为流水线并行场景下的HiCache使用奠定了基础,但完整功能需等待后续PR;
  3. 对团队:需要确保后续兼容性PR与此变更协调一致,避免接口不一致。
配置格式变更 缺少边界测试

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论