#21259 [HiCache & HybridModel] mooncake backend support DSA & mamba model
作者 huangtingwei9988 · 合并时间 2026-04-14 09:47
功能
重要性 9.18
洞察度 6.00
扩展HiCache以支持Mooncake后端,使DSA和Mamba模型能使用分层缓存。
hicache
feature
mamba
consistency
run-ci
该PR值得精读,特别是`hybrid_pool_assembler.py`中的设计展示了如何通过抽象层支持多种混合模型,以及`mooncake_store.py`中零拷贝IO集成模式。关注`_resolve_shared_pool_transfers`方法对共享索引池的处理,这是确保数据一致性的关键。