PR分析报告：重构Ngram类以支持可插拔缓存后端

执行摘要

本次PR对speculative decoding中的Ngram缓存实现进行了架构重构，将单体C++类拆分为可插拔组件，新增match_type参数支持不同树构建模式，为未来后端扩展铺平道路。变更影响核心推理路径，但行为保持不变，已通过全面测试验证。

功能与动机

主要动机是重构Ngram类以支持可插拔缓存后端，如计划中的Suffix Automaton。根据PR body描述："Refactor the monolithic C++ Ngram class into a template-based architecture to enable pluggable cache backends"，同时新增match_type参数以提供更灵活的树构建选择（BFS基于最近使用，PROB基于频率）。这是1/N系列的第一步，关联issue #21052规划了后续工作。

实现拆解

重构涉及以下关键改动：

关键代码逻辑示例：在ngram.cpp中，构造函数现在初始化trie_成员，而非直接管理节点池。

Ngram::Ngram(size_t capacity, const Param& param) : param_(param) {
    // 参数验证
    trie_ = std::make_unique<Trie>(capacity, param);
}

评论区精华

Review讨论中突出了以下要点：

• 设计权衡：hnyls2002指出："We do not need a template here. As we discussed today, the Ngram data structure would contain a trie and a SAM at the same time. Just let the Ngram be a wrapper." 这引导了从模板到包装器模式的转变。
• 命名优化：讨论后，将NgramCache重命名为NgramCorpus，以更准确反映其作为语料库管理者的角色。
• 文档策略：kpham-sgl建议文档更改可单独处理，但最终合并在此PR中，以确保一致性。

风险与影响

• 技术风险：重构可能引入隐蔽bug，尤其是在并发插入和匹配操作中；issue评论提到存在竞态条件和CPU自旋等待问题，需后续PR解决。性能方面，新增包装层可能轻微增加开销，但测试未显示明显回归。
• 影响范围：用户可通过match_type参数调整树构建行为，提升speculative decoding的灵活性；系统架构更模块化，便于集成新后端；团队需更新代码以适应新命名和结构。

关联脉络

这是speculative decoding模块演进的关键一步，作为1/N系列的开端，为后续PR（如集成Suffix Automaton）奠定基础。与历史PR对比，本次重构侧重于内部架构优化，而非直接功能新增，但通过增强可扩展性，支持了仓库中其他性能优化（如PR 20978的CUDA graph改进）的长期目标。讨论中提及的未来计划（issue #21052）揭示了更大的功能演进方向：逐步替换缓存后端以提升推理效率。