执行摘要

本PR为DeepSeek V3.2模型启用了IndexCache优化，通过跨层复用topk索引减少计算开销，实现了约6.4%的吞吐量提升和约5.5%的延迟降低，同时引入了可配置的索引复用模式，但需注意潜在的精度损失。

功能与动机

动机源于issue #21286，要求实现IndexCache以加速稀疏注意力计算。PR body引用了论文《IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse》，并提供了详细的性能基准测试，显示在GSM8K任务上精度保持稳定，性能显著提升。

实现拆解

主要修改了DeepSeek模型的核心文件：

• python/sglang/srt/models/deepseek_v2.py：添加skip_topk和next_skip_topk逻辑，支持index_topk_freq和index_topk_pattern配置。
• python/sglang/srt/models/deepseek_common/attention_forward_methods/forward_mla.py：修改forward_absorb_prepare和forward_absorb_core方法，在skip_topk为True时复用prev_topk_indices。
• python/sglang/srt/models/deepseek_nextn.py：更新forward方法以传递topk_indices。
• test/registered/8-gpu-models/test_deepseek_v32_indexcache.py：新增测试验证功能。

关键代码逻辑示例：

if not self.skip_topk or prev_topk_indices is None:
    topk_indices = self.indexer(...)
else:
    topk_indices = prev_topk_indices

评论区精华

review中主要交锋点：

• arXiv引用错误：gemini-code-assist指出引用年份2603可能有误，需修正。
• 测试文件大小：Fridge003建议优化测试，避免大型夜间测试。
• skip_topk逻辑：Fridge003讨论实现方式，最终参考官方补丁调整。

风险与影响

风险：

1. 精度损失：索引复用可能影响模型输出准确性，issue评论中确认存在精度损失。
2. 兼容性问题：修改前向传播接口可能影响TBO路径或其他模型变体。
3. 测试覆盖不足：测试仅针对特定配置，可能遗漏边缘情况。

影响：

• 用户：性能提升但需权衡精度。
• 系统：新增配置选项，增加灵活性。
• 团队：需维护新逻辑，确保跨硬件兼容性。

关联脉络

与PR #21502关联，后者在NPU上实现了类似功能，显示了IndexCache优化的跨硬件扩展性。此外，与仓库中其他性能优化PR（如PR #21771）有共同主题，反映了团队对推理效率的持续关注。