执行摘要

本PR通过引入fused kernels和缓存机制，优化了GLM-5模型在NPU硬件上的推理性能。关键改动包括旋转位置嵌入缓存、Triton内核替换原生操作，以及量化权重处理，预计提升吞吐量和准确性。讨论中解决了线程安全问题，但遗留了硬编码值等维护性顾虑，整体为有意义的性能改进。

功能与动机

PR动机明确为“优化GLM-5在NPU的推理性能”，旨在通过硬件特定优化减少计算开销，提升模型推理效率。背景可能是NPU平台上DeepSeek模型的性能瓶颈，基准测试数据显示输出token吞吐量可达30.34 token/s，以验证优化效果。

实现拆解

• 模型配置模块：在python/sglang/srt/configs/model_config.py中添加draft model检查，避免量化配置错误。
• NPU attention模块：在python/sglang/srt/hardware_backend/npu/modules/deepseek_v2_attention_mla_npu.py中引入fused_split_qk_norm，根据token数量（<65535）选择优化路径，否则回退到原生操作。
• NSA indexer：在python/sglang/srt/layers/attention/nsa/nsa_indexer.py中将sin/cos缓存从全局变量迁移到forward_batch.npu_indexer_sin_cos_cache，确保线程安全。
• Rotary embedding：在python/sglang/srt/layers/rotary_embedding/base.py中添加fused_rope_qk_mqa调用，对小规模输入使用融合内核，并引入sin_cos_cache缓存机制。
• DeepSeek模型：在python/sglang/srt/models/deepseek_nextn.py中加载rot_weight（从rot.safetensors）并调整环境变量（如SGLANG_DEEPEP_BF16_DISPATCH），以支持NPU推理。

评论区精华

review中，gemini-code-assist[bot]提出关键建议：

“使用全局变量SIN和COS进行缓存不线程安全，可能导致race conditions。建议缓存到forward_batch对象。”
代码已采纳此建议，修改为使用forward_batch.npu_indexer_sin_cos_cache。此外，评论还指出硬编码epsilon值和魔法数字问题：
“eps值硬编码为1e-6，应使用m.q_a_layernorm.variance_epsilon。”
“魔法数字65535应替换为命名常量。”
这些建议在patch中未完全实现，可能存在维护风险。iforgetmyname的approval表明变更整体可接受。

风险与影响

技术风险：新fused kernels（如fused_split_qk_norm和fused_rope_qk_mqa）可能未充分测试，存在回归风险；硬编码epsilon值和魔法数字影响代码维护性和跨配置兼容性；NPU优化增加平台依赖，可能影响其他硬件支持。
影响：用户端GLM-5推理性能提升，基准测试显示输出token吞吐量改善；系统优化核心注意力路径，减少计算延迟；团队需维护NPU特定代码，增加复杂度，但提升了硬件适配能力。

关联脉络

与近期PR如#21315（AMD fused rope优化）和#21255（NPU接受率修复）相关联，显示跨硬件性能优化的趋势。结合#21468（DeepSeek-V3.2 NPU文档），此PR是NPU上DeepSeek模型性能改进的一部分，反映仓库在硬件特定优化和模型支持上的持续演进。提交历史中的多次合并（如解决冲突）表明这是协作迭代的结果。