sgl-project/sglang · 标签视图

修复 HiCache 文件后端组件键生成中 PoolName 枚举序列化问题，确保文件名规范。

该 PR 值得快速浏览，重点关注 `PoolName` 枚举的 `__str__` 方法实现，这是修复序列化问题的核心设计决策。对于涉及 HiCache 或类似枚举键生成的开发，此变更展示了如何确保枚举值在字符串上下文中的规范表示。

为统一基数树组件添加HiCache钩子接口，支持缓存数据在设备、主机和存储间的传输管理。

该PR值得架构师和核心缓存模块开发者精读，重点关注`CacheTransferPhase`枚举的设计和钩子方法的职责划分。这些接口为分层缓存系统提供了清晰的扩展点，是理解SGLang缓存架构演进的关键。

修复 GLM-5 系列模型在 HiCache 下低概率输出乱码问题，确保 NSA 索引读取与缓存加载同步。

该 PR 值得精读，因为它揭示了 HiCache 与 NSA 模型交互时一个微妙但关键的同步问题。关注点在于如何通过统一的 `layer_transfer_counter` 机制来协调异步缓存加载与数据访问，这是分布式缓存系统中常见的并发控制模式。

提取 FanOutCommunicator 类并采用声明式配置表，简化通信器管理。

该 PR 值得精读，尤其是 `FanOutCommunicator` 类的设计（支持 queueing/watching 模式）和声明式配置表的实现方式，展示了如何通过抽象减少重复代码。关注点包括通信器的状态管理（如 `_result_event` 和 `_ready_queue`）以及 review 中讨论的类型安全和健壮性改进。

修复 HiMambaRadixCache 在极端负载下因陈旧节点引用导致的断言崩溃。

该 PR 值得精读，尤其是对于从事缓存模块或高并发系统开发的工程师。关注点包括： - 如何通过父链接新鲜度检查处理陈旧节点引用这一常见并发问题。 - 设计决策中权衡了健壮性（跳过陈旧节点）与严格断言（崩溃）的利弊。 - 了解 HiCache 和 Mamba 模型集成中的复杂交互，为未来迁移到 UnifiedRadixTree 做准备。

为混合模型（如KV+Mamba）的HiCache添加上下文并行（CP）支持。

该PR值得快速浏览，以了解HiCache如何扩展支持混合模型的上下文并行。重点关注`HybridCacheController`的参数扩展设计，以及review中关于参数来源不一致的讨论，这反映了代码库中潜在的配置管理问题。

修复 HiCache 在共享索引时内存释放逻辑错误，避免内存泄漏。

该 PR 值得精读，因为它揭示了 HiCache 内存池中共享索引模式下的一个关键设计决策：当索引与锚点共享时，释放操作应仅作用于锚点池，避免重复释放导致状态不一致。关注 `free` 方法的简化如何纠正了原实现中的逻辑错误。

修复Mooncake存储后端在Ascend HIXL环境下的初始化错误并扩展布局支持。

建议开发者在涉及NPU部署、Mooncake传输引擎或HiCache存储后端时精读此PR，特别关注初始化顺序的设计决策和'page_first_kv_spilt'布局的兼容性扩展。