执行摘要

• 一句话：为混合Mamba模型添加Mamba状态卸载支持和混合缓存控制器，提升缓存命中率。
• 推荐动作：建议工程师重点阅读hybrid_cache_controller.py和hi_mamba_radix_cache.py，关注PoolTransfer设计如何抽象多池传输，以及MambaPoolHost的布局优化对性能的影响。此PR展示了缓存系统可扩展性的重要演进，适合学习分层缓存设计。

功能与动机

动机是提升混合模型在分层缓存下的性能，解决Mamba状态无法有效卸载导致的缓存效率低问题。PR body中的基准测试数据表明，启用Mamba offloading后缓存命中率从0.547049提升到0.897569，TTFT（首令牌时间）在多轮请求中更稳定，从而减少推理延迟并优化资源利用率。

实现拆解

实现方案拆解为以下关键模块：

1. 缓存控制器层：新增HybridCacheController（在hybrid_cache_controller.py）继承自HiCacheController，统一处理Mamba和KV缓存的预取、回写操作，支持PoolTransfer描述符管理多池传输。
2. 宿主内存池：新增MambaPoolHost类（在memory_pool_host.py），实现Mamba状态的宿主存储，支持page_first和layer_first布局，复用KV传输内核提升效率。
3. 缓存核心逻辑：修改HiMambaRadixCache（在hi_mamba_radix_cache.py），集成新控制器、添加HostLRUList管理宿主Mamba LRU，移除last_host_backup_node简化匹配逻辑。
4. 存储接口扩展：更新hicache_storage.py，引入PoolName、PoolHitPolicy、PoolTransfer等枚举和类，支持batch_exists_v2接口检查多池命中策略。
5. 调度与内存池集成：调整memory_pool.py、schedule_batch.py、schedule_policy.py等文件，添加layer_transfer_counter支持层间同步，优化加载回逻辑以处理Mamba状态复制。

关键文件：

• python/sglang/srt/mem_cache/hybrid_cache/hybrid_cache_controller.py（模块 mem_cache/hybrid_cache）: 新增混合缓存控制器核心类，统一管理Mamba和KV缓存的预取、回写操作，引入了PoolTransfer抽象和合并逻辑。
• python/sglang/srt/mem_cache/hi_mamba_radix_cache.py（模块 mem_cache）: 主要缓存逻辑修改点，集成HybridCacheController、添加HostLRUList、优化匹配和卸载逻辑，影响缓存命中路径。
• python/sglang/srt/mem_cache/memory_pool_host.py（模块 mem_cache）: 新增MambaPoolHost类，实现Mamba状态的宿主内存池，支持多种布局，是offloading的关键存储层。
• python/sglang/srt/mem_cache/hicache_storage.py（模块 mem_cache）: 扩展存储接口，新增PoolTransfer、PoolHitPolicy等支持多池传输，为未来后端集成提供基础。

关键符号：HybridCacheController.init, MambaPoolHost.init_kv_buffer, HiMambaRadixCache.load_back, CacheOperation.merge_ops

评论区精华

Review讨论中的精华包括：

• 设计决策：hzh0425在hicache_storage.py中请求对新V2接口设计的review（评论：'Please review the design of the new V2 interface to support MultiPool transfers'），ispobock建议使用enum替代字符串，hzh0425回复已实施（'done'），体现了模块化设计权衡。
• 正确性优化：xiezhq-hermann建议隐藏host_hit_length逻辑于缓存数据结构中（评论：'can we actually hide this under the hybrid_radix_cache data structure?'），hzh0425采纳并修改代码，简化了接口复杂度。
• 代码复用与性能：ispobock质疑MambaPoolHost中使用KV传输内核的合理性（评论：'why use transfer kv interface for mamba state?'），hzh0425解释为重用现有内核以提升效率（评论：'Here we can directly reuse the KV kernel to transfer the Mamba state—it is reusable.'），强调了性能优化思路。

• 未解决疑虑：部分TODO如支持PP（Pipeline Parallelism）仍待未来实现，提示了扩展方向。

  • 新V2存储接口设计Review (design): hzh0425采纳建议并实施优化，增强了接口的类型安全性和可维护性。
  • MambaPoolHost中KV内核复用 (performance): 设计决策被接受，强调了性能优化和代码复用的权衡。
  • host_hit_length逻辑简化 (design): 优化了代码抽象，减少了外部依赖。

风险与影响

• 风险：技术风险包括：
• 回归风险：核心缓存路径变更（如HiMambaRadixCache中的匹配逻辑和schedule_policy.py的加载回修改）可能影响现有混合模型推理的正确性，需全面测试。
• 内存管理风险：MambaPoolHost新增宿主内存分配，若host_size配置不当可能导致内存不足或泄漏，尽管PR中已修复内存泄漏问题。
• 兼容性风险：新PoolTransfer接口需后端存储实现支持，可能破坏现有HiCacheStorage子类的兼容性。
• 性能风险：layer_transfer_counter引入的等待逻辑（如_wait_for_layer方法）可能增加延迟，尤其在多层模型中。
• 影响：影响范围评估：
• 对用户：提升混合模型（如Qwen3.5-9B）的推理性能，缓存命中率大幅改善，减少TTFT波动，增强多轮对话体验。
• 对系统：扩展分层缓存架构至Mamba状态，支持更高效的资源卸载，为未来混合模型优化奠定基础。
• 对团队：引入了HybridCacheController设计模式，统一缓存操作，可能作为模板用于其他缓存类型（如DSA Pool），影响后续开发范式。
• 风险标记：核心路径变更, 内存管理风险, 兼容性风险

关联脉络

• 暂无明显关联 PR