执行摘要

本PR修复了Qwen3Next模型中线性注意力衰减参数A_log的精度问题，通过将其存储为fp32以对齐上游参考实现和SGLang的修复。变更微小但确保长前缀状态构造时的数值稳定性，影响范围限于特定模型组件，已通过review并获得批准。

功能与动机

动机源于上游Qwen3Next参考实现将A_log初始化为float32张量，而vLLM中默认dtype可能导致精度损失，尤其是在长前缀场景下。PR body引用SGLang为Qwen 3.5所做的类似修复（PR 19961），旨在保持高精度行为，避免因默认存储精度带来的不一致问题。Issue评论中用户ZJY0516询问fp32是否有更好准确性，但未直接链接到Issue，仅作为背景参考。

实现拆解

实现仅修改一个文件：vllm/model_executor/models/qwen3_next.py。在__init__方法中，变更如下：

self.A_log = nn.Parameter(
    torch.empty(
        divide(self.num_v_heads, self.tp_size),
        dtype=torch.float32, # 新增此行，将存储精度设置为 fp32
    )
)

评论区精华

在review中，gemini-code-assist[bot]提出关键建议：> "While correctly updating A_log to fp32, the related dt_bias parameter ... should also be explicitly cast to torch.float32 as it's used in the same high-precision calculations." 作者effortprogrammer回应：> "Thanks for the suggestion. ... I’d prefer to keep the scope minimal and only change A_log. ... leave that as a follow-up once there is a clearer reference." 这展示了在bugfix中如何权衡变更完整性（同时修复dt_bias）与最小化范围（仅基于现有证据改动），凸显了团队对参考依据的重视和谨慎决策。

风险与影响

• 风险：未修改的dt_bias参数可能仍存在精度问题，影响模型数值稳定性；变更虽小，但需测试确保fp32存储不引入兼容性问题。
• 影响：直接影响Qwen3Next模型的线性注意力组件，提高长前缀状态下的准确性，可能轻微影响性能（fp32计算稍慢）。影响程度低，因变更目标明确且已对齐参考实现。

关联脉络

本PR与历史PR 37338（修复Qwen3.5 Triton autotuning）相关，后者也修改了同一文件，表明Qwen模型系列在vLLM中的持续优化。此外，参考了外部项目SGLang的PR 19961，反映了跨开源社区在模型精度对齐上的协同努力。这揭示了vLLM在维护模型兼容性和精度方面遵循最小变更和参考驱动的策略。