执行摘要
本PR为DeepSeek V3.2模型启用了IndexCache优化，通过跨层复用topk索引减少计算开销，实现了约6.4%的吞吐量提升和约5.5%的延迟降低，同时引入了可配置的索引复用模式，但需注意潜在的精度损失。
功能与动机
动机源于issue #21286，要求实现IndexCache以加速稀疏注意力计算。PR body引用了论文《IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse》，并提供了详细的性能基准测试，显示在GSM8K任务上精度保持稳定，性能显著提升。
实现拆解
主要修改了DeepSeek模型的核心文件：
- python/sglang/srt/models/deepseek_v2.py：添加
skip_topk和next_skip_topk逻辑，支持index_topk_freq和index_topk_pattern配置。
- python/sglang/srt/models/deepseek_common/attention_forward_methods/forward_mla.py：修改
forward_absorb_prepare和forward_absorb_core方法，在skip_topk为True时复用prev_topk_indices。
- python/sglang/srt/models/deepseek_nextn.py：更新
forward方法以传递topk_indices。
- test/registered/8-gpu-models/test_deepseek_v32_indexcache.py：新增测试验证功能。
关键代码逻辑示例：
if not self.skip_topk or prev_topk_indices is None:
topk_indices = self.indexer(...)
else:
topk_indices = prev_topk_indices
评论区精华
review中主要交锋点：
- arXiv引用错误：gemini-code-assist指出引用年份2603可能有误，需修正。
- 测试文件大小：Fridge003建议优化测试，避免大型夜间测试。
- skip_topk逻辑：Fridge003讨论实现方式，最终参考官方补丁调整。
风险与影响
风险：
- 精度损失：索引复用可能影响模型输出准确性，issue评论中确认存在精度损失。
- 兼容性问题：修改前向传播接口可能影响TBO路径或其他模型变体。
- 测试覆盖不足：测试仅针对特定配置，可能遗漏边缘情况。
影响：
- 用户：性能提升但需权衡精度。
- 系统：新增配置选项，增加灵活性。
- 团队：需维护新逻辑，确保跨硬件兼容性。
关联脉络
与PR #21502关联，后者在NPU上实现了类似功能，显示了IndexCache优化的跨硬件扩展性。此外，与仓库中其他性能优化PR（如PR #21771）有共同主题，反映了团队对推理效率的持续关注。
参与讨论