执行摘要

• 一句话：修复深求Eagle3推断缺失fc_norm归一化
• 推荐动作：推荐合并。修复明确、无风险，且与已有模式一致。值得关注的是此类跨模型实现对齐的遗漏，后续应加强类似模式的代码审查。

功能与动机

PR #42764 为 EAGLE-3 推测解码添加了 fc_norm 支持，但只在 llama_eagle3.py 的 combine_hidden_states 中正确应用了归一化，deepseek_eagle3.py 被遗漏。这导致 fc_norm 权重被加载但从未生效，模型精度受损。

实现拆解

1. 定位遗漏逻辑：在 vllm/model_executor/models/deepseek_eagle3.py 的 combine_hidden_states 方法中，原本只有一行 return self.model.fc(hidden_states)，缺少对的检查和应用。
2. 添加归一化步骤：参考 llama_eagle3.py 中已有的实现，在调用之前，检查 self.model.fc_norm 是否为 None。若不为 None，将 hidden_states 按 self.model.num_aux_hidden_states 在最后一维分块，然后逐个应用对应的归一化层，最后拼接回原形状。
3. 保持原有逻辑：无论是否应用归一化，最终都通过 self.model.fc 进行全连接变换，确保兼容性和接口一致。

关键文件：

• vllm/model_executor/models/deepseek_eagle3.py（模块 模型执行器；类别 source；类型 data-contract；符号 combine_hidden_states）: 核心修复文件：在 combine_hidden_states 方法中添加 fc_norm 归一化步骤，修复缺失逻辑。

关键符号：combine_hidden_states

关键源码片段

vllm/model_executor/models/deepseek_eagle3.py

核心修复文件：在 combine_hidden_states 方法中添加 fc_norm 归一化步骤，修复缺失逻辑。

def combine_hidden_states(
    self,
    hidden_states: torch.Tensor,
) -> torch.Tensor:
    # 如果 fc_norm 已配置，对多个辅助隐藏状态逐块归一化
    if self.model.fc_norm is not None:
        # 按辅助隐藏状态数量（num_aux_hidden_states）在最后一维分块
        chunks = hidden_states.chunk(self.model.num_aux_hidden_states, dim=-1)
        # 对每个块应用对应的归一化层，再拼接回完整张量
        hidden_states = torch.cat(
            [norm(chunk) for norm, chunk in zip(self.model.fc_norm, chunks)],
            dim=-1,
        )
    # 最终通过全连接层输出
    return self.model.fc(hidden_states)

评论区精华

无显著的 Review 讨论；lightseek-bot 和 ywang96 均直接批准，gemini-code-assist[bot] 仅自动评论未提出异议。

• 暂无高价值评论线程

风险与影响

• 风险：风险极低。变更仅添加了条件分支，当 fc_norm 为 None 时行为不变；且逻辑与 llama_eagle3.py 中对齐，降低了跨模型的不一致性风险。无回归或性能影响。
• 影响：仅影响 deepseek_eagle3.py 模块，修复了 EAGLE-3 推测解码在 DeepSeek-架构目标模型上的精度问题。用户无需修改配置，fc_norm 配置项（如 fc_norm: true）现可正确生效。
• 风险标记：遗漏逻辑修复

关联脉络

• PR #42764 Add fc_norm support for EAGLE-3 post-norm speculators: 此 PR 引入了 fc_norm 功能，但遗漏了 deepseek_eagle3.py 的实现。当前 PR 是对该 PR 的补全修复。