执行摘要
该PR修复了Qwen3.5和Qwen3-Next模型在启用序列并行时，共享专家权重被错误分片导致的精度问题。通过向SharedExpert传递is_sequence_parallel参数，并在序列并行时禁用张量并行，确保计算正确性。变更影响范围限于特定模型配置，风险较低，但缺乏针对性测试覆盖。
功能与动机
问题背景：当sequence_parallel启用时，MoE模型中的共享专家权重会应用张量并行，但在计算结束时未执行all-reduce操作，导致精度损失。作者在vllm 0.18.0环境中使用8个NVIDIA A800 GPU测试确认此问题，并指出最新main分支在共享专家处理上无差异。
关键表述：> "当sequence_parallel启用时，共享专家会应用张量并行且未执行all-reduce，导致精度问题。"
实现拆解
修改涉及两个核心文件，均位于vllm/model_executor/models/模块：
| 文件 |
变更点 |
关键代码 |
qwen2_moe.py |
在SharedExpert.__init__中添加is_sequence_parallel参数，并传递给gate_up_proj和down_proj的disable_tp |
```python |
| is_sequence_parallel: bool = False, |
|
|
| ... |
|
|
| disable_tp=is_sequence_parallel, |
|
|
| ``` |
|
|
qwen3_next.py |
在Qwen3NextForCausalLM.__init__中将self.is_sequence_parallel传递给SharedExpert |
```python |
| is_sequence_parallel=self.is_sequence_parallel, |
|
|
| ``` |
|
|
逻辑说明：is_sequence_parallel参数控制ColumnParallelLinear和RowParallelLinear的disable_tp，当为True时禁用张量并行，避免权重分片，从而修复精度问题。
评论区精华
Review讨论较少，仅gemini-code-assist[bot]总结变更：
"This pull request introduces support for sequence parallelism in the Qwen2 MoE and Qwen3 Next models by adding an is_sequence_parallel parameter..."
Issue评论中，作者提及因DCO问题重开PR（关联#38795），并请求重跑CI检查。vadiklyutiy建议空提交触发CI，最终所有检查通过后合并。无深度技术交锋。
风险与影响
技术风险：
- 回归风险：修改了
SharedExpert初始化签名，但参数可选，不影响现有调用；若is_sequence_parallel传递错误（如未正确从模型配置获取），可能导致未预期行为。
- 测试覆盖不足：PR未添加新测试，依赖现有测试验证，但针对序列并行+共享专家的特定场景可能缺乏充分测试。
- 配置依赖：修复仅针对Qwen3.5/Qwen3-Next，其他MoE模型可能存在类似问题，需额外检查。
影响评估：
- 用户影响：仅影响使用Qwen3.5或Qwen3-Next且启用序列并行的用户，修复后提升推理精度。
- 系统影响：无性能退化，通过禁用不必要分片避免计算错误。
- 团队影响：变更简单，易于维护，但需注意MoE模型的一致性处理。
关联脉络
- 直接关联：PR #38795可能为同一修复的先前版本，因DCO问题重开。
- 功能演进：近期多个PR涉及MoE模型优化（如#39005重构专家目录、#39315修复FlashInfer MoE崩溃），显示团队持续改进MoE支持。本PR是其中针对特定模型精度问题的bugfix。
- 趋势洞察：vLLM在扩展模型支持（如Qwen系列）的同时，注重并行计算下的正确性，序列并行与张量并行的交互成为常见问题点。
参与讨论