标签列表
聚合结果
原始 PR · 作者 huangtingwei9988 · 合并时间 2026-09-01 11:40
新增 Mooncake 后端外部链接器，支持跨节点 KV 加载
值得精读。本 PR 展示了如何将外部分布式存储接入 unified cache：异步后台线程 + Future 计数器的 layer-wise 加载协议、跨 rank 的 restorable 集合求交、以及 buffer 注册与键后缀对齐等设计，都是可复用的模式。建议重点看 MooncakeDirectLinker.load_layer_wise 与 MooncakeStore.batch_exists_v2 的改动，理解 TRAILING_PAGES 空洞语义为什么必须返回集合而不是单一前缀长度。
新增 Rust TreeCore 缓存后端与共享一致性测试套件
值得精读的架构级 PR。重点学习：1）FFI 边界设计——owned snapshot、tagged tuple 编解码、禁止迭代器跨 Rust 边界、inspection binding 与生产 binding 严格隔离（wheel 内校验无 inspect_* 方法）；2）双后端共享测试套件的一致性验证策略，比后端各自复制测试更能暴露语义差异；3）fail-fast 特性管理——不支持的组合在构造期显式拒绝并附 TODO(Jialin)，避免不完整语义静默运行；4）TreeComponent trait 抽象让 Python 语义可以逐方法移植，每个方法都带 Python 参考实现注释，是跨语言移植的良好范例。
新增后端无关外部缓存链路核心并接入缓存树
值得精读。重点看三处设计：① `_sync_restorable_prefix` 用 0/1 mask + MIN all-reduce 求跨 rank 稀疏集合交集，避免“取局部最大值”落点不可恢复；② `UnifiedCacheLinkerWrapper` 的「排队 + 异步完成」传输协议与锁 pin/unpin 机制，兼顾按层加载与异常回滚；③ `check_hicache_events` 的双轨事件轮询与卸载结果二次归约（任一 rank 失败整体回滚）。建议后续 backend PR 合入前补充一次真实多卡端到端验证（含 DMA 失败注入）。
测试服务器关机改为优雅关闭，释放钉住主机 KV 池
值得快速浏览而非精读。作为“测试进程清理标准化”的示例，`test_hicache_storage.py` 中清晰的动机注释和统一 helper 的使用方式是主要看点；不需要深入理解 HiCache 内部实现。
新增外部链接器设备池组装，支持 DSA 与 DeepSeek V4
值得精读。该 PR 是统一缓存外部链接器（HiCache）架构的关键一环，`DevicePoolEntry` 的元数据计算与 `DevicePoolGroup.resolve_transfers` 的展开语义是后续所有 linker 后端共用的基础。建议通读三个文件及配套测试，重点理解 `packed`/非 `packed` 布局、`rows_are_pages` 与稀疏 `layer_mapping` 的组合，以及 transfer 展开时 KV 强制 `ALL_PAGES` 的设计取舍。
为外部缓存链接器定义传输与加载契约，并跟踪插入采用的 KV 范围
建议精读。该 PR 展示了如何在不污染既有路径的前提下，通过阶段枚举和组件钩子为跨节点 KV 缓存定义清晰契约，值得学习其“先契约后实现”的拆分策略。关注重点：`record_adopted_range` 的区间合并语义、`external_cache_stored` 与 HiCache 备份的互斥设计，以及 SWA 的 TRAILING_PAGES 窗口对齐方式。
原始 PR · 作者 CyberSecurityErial · 合并时间 2026-08-30 09:15
decode offload 状态改按 Req 实例隔离，修复 rid 重用竞态
值得精读。这是一次教科书式的异步生命周期键选择修复：通过将簿记键从“外部可重用的身份标识”切换为“内部持有确切引用的对象实例”，从根本上消除了跨请求状态串扰，且改动面极小。建议关注三点：一是 `Req` 对象作为字典键的哈希语义约定；二是 `_check_offload_progress` 中 ack 处理顺序与 `finish_event.synchronize()` 的配合；三是回归测试“先构造同 rid 双请求、再让迟到 ack 到达”的写法，可作为类似竞态复现的模板。
原始 PR · 作者 alphabetc1 · 合并时间 2026-08-29 23:47
文档澄清 HiCache L2 实例私有、仅 L3 可跨实例共享
值得阅读：对维护者和文档贡献者而言，本 PR 是“把隐含架构语义显式化”的良好范例——用表格、Mermaid 图与 Note 三层结构回答反复出现的用户问题，且每条机器 review 意见都落实到最终提交。对纯代码开发者无需精读；若今后编写 HiCache 或统一缓存相关文档，可直接复用 Tier Sharing Scope 小节的表达方式与校订流程。