执行摘要

• 一句话：移除 DSv2 类模型路由器权重 FP32 上转型
• 推荐动作：建议合入。该 PR 是 Issue #47410 的合理后续优化，且经过作者数值验证。推荐关注后续可能对 BF16 MMA 累加精度的进一步改进。

功能与动机

Issue #47410 曾将路由器权重上转型为 FP32，导致无法利用 BF16xBF16->FP32 的快速 GEMM 路径。本 PR 移除该限制，在保留 FP32 输出精度的前提下启用更快的计算路径。作者在 PR body 中给出了详细的数值误差表，BF16 误差仅比 FP32 大一个数量级（~1e-5 级别），被认为可接受。

实现拆解

1. 修改 GateLinear 构造调用（vllm/model_executor/models/deepseek_v2.py）：移除 params_dtype=self.router_dtype 和 force_fp32_compute=self.router_dtype == torch.float32 两个参数。
2. 保留 out_dtype=self.router_dtype：确保路由器输出 logits 仍为 FP32，维持后续计算精度。
3. 无需配置文件或测试更新：仅涉及内部参数调整，不改变模型接口或配置。

关键文件：

• vllm/model_executor/models/deepseek_v2.py（模块 MoE 路由；类别 source；类型 data-contract）: 修改 DeepseekV2MoE 的 GateLinear 构造调用，移除权重上转型参数，启用快速 BF16 GEMM 路径，是唯一变更文件。

关键符号：未识别

关键源码片段

vllm/model_executor/models/deepseek_v2.py

修改 DeepseekV2MoE 的 GateLinear 构造调用，移除权重上转型参数，启用快速 BF16 GEMM 路径，是唯一变更文件。

# file: vllm/model_executor/models/deepseek_v2.py
# 修改 DeepseekV2MoE.__init__ 中的 GateLinear 构造调用
# 移除 params_dtype 和 force_fp32_compute 参数，
# 允许 GateLinear 使用 BF16 权重和 FP32 输出，
# 从而启用快速 BF16xBF16->FP32 GEMM 路径。
self.gate = GateLinear(
    config.hidden_size,
    config.n_routed_experts,
    # 以下两行被删除：
    # params_dtype=self.router_dtype,
    out_dtype=self.router_dtype, # 保持输出为 FP32 以保证精度
    # force_fp32_compute=self.router_dtype == torch.float32,
    prefix=f"{prefix}.gate",
)

评论区精华

无 review 讨论。

• 暂无高价值评论线程

风险与影响

• 风险：主要风险为数值精度下降：BF16xBF16->FP32 GEMM 在大 K=6144 下累加误差可达 1e-5 级别。虽然 MoE 路由器对精度不敏感，但极端情况下可能影响专家选择质量。作者在 PR body 中承认该问题，并建议后续可通过增加 BF16 MMA 累加缓冲区来缓解。
• 影响：影响范围：仅影响 DeepSeek-V2/V3 及其变体模型。影响程度：中低。对用户透明，无需改动配置或代码。预期在保持功能正确性的前提下提升推理速度。
• 风险标记：数值精度风险

关联脉络

• PR #47410 [Bugfix] upcast DSv2 router weights to FP32: 本 PR 是 #47410 的后续优化，移除后者引入的权值上转型，以启用更快的 GEMM 路径。
• PR #47797 [Bugfix] Allocate HY V3 expert_bias in float32 to prevent silent downcasting: 同为 MoE 相关精度修复，表明团队对 MoE 路由器精度的持续关注。
• PR #47969 Remove unused _get_kv_cache_config_deepseek_v4 alias: 同为 DeepSeek 相关清理，体现该模型系列的持续维护。