执行摘要

此PR为vLLM添加了对BharatGen的Param2MoE模型支持，实现了GQA-based混合MoE架构的集成，通过新增模型实现文件、注册和文档更新，使用户能高效推理该模型，讨论中聚焦于正确性修复和设计优化。

功能与动机

当前vLLM不支持Param2MoE架构，该架构结合了GQA-based MoE和混合密集+MoE层（如模型Param2-17B-A2.4B-Thinking）。此PR旨在解决此限制，让用户能在vLLM中加载和推理Param2MoE模型，扩展模型生态。PR body明确描述动机为“vLLM does not support this architecture”，并提供了测试计划。

实现拆解

实现涉及四个关键文件：

• param2moe.py：新增Param2MoEModel类，定义模型架构、权重加载逻辑，使用AutoWeightsLoader标准化处理。关键代码逻辑包括条件调用extract_moe_parameters和处理权重映射。
• registry.py：更新模型注册表，添加Param2MoEForCausalLM条目以识别新模型。
• tests/models/registry.py：在测试注册表中添加对应条目，支持在线检查功能。
• docs/models/supported_models.md：更新支持模型列表文档，将Param2MoE标记为已支持。

评论区精华

review讨论核心点：

• 正确性修复：gemini-code-assist[bot]指出“extract_moe_parameters方法应条件调用，避免密集模型变体导致RuntimeError”，作者随后修复。
• 设计优化：DarkLight1337建议“将权重加载移至内层Param2MoEModel并使用AutoWeightsLoader”，作者重构采纳，提升代码一致性。
• 风格调整：DarkLight1337要求“保持注册表字母顺序”，作者响应调整条目位置。

风险与影响

风险：新模型代码可能引入未预见bug，尤其是在MoE层处理；测试覆盖有限，仅依赖简单测试计划；兼容性依赖条件逻辑，但讨论中已修复关键问题。
影响：用户可直接使用Param2MoE模型进行推理；系统增加对新架构的支持，遵循现有接口，影响可控；团队需维护新代码，可作为MoE模型实现的参考。

关联脉络

从历史PR看，此PR与#37512（添加模型支持）、#38955（重构权重加载使用AutoWeightsLoader）相关，共同体现了vLLM模型生态的扩展和代码标准化趋势。近期PR如#39029展示了模型相关的bugfix维护，表明模型支持是一个持续演进的功能线。