执行摘要

• 一句话：EP 下 2D LoRA 权重加载跳过非本地 expert 以降低内存
• 推荐动作：值得阅读以理解 vLLM 的 LoRA+EP 设计。可关注未解决的边界情况（MoE 层无 LoRA 时优化失效）。

功能与动机

在 EP 环境中每个 rank 只负责部分 expert，原 LoRA 加载会读取全部 expert 导致 CPU 内存浪费。本 PR 从加载路径消除冗余。

实现拆解

1. 定义切片元数据 (vllm/lora/lora_model.py)：新增 MoEEPLoadSpec 和 _is_remote_expert_key 函数，用于标识非本地 expert 的 checkpoint key。
2. 加载时跳过远程权重 (vllm/lora/lora_model.py)：from_local_checkpoint 新增 moe_ep_spec 参数，在 safetensors 迭代时或 .bin/.pt 加载后过滤掉远程 expert 的条目。
3. 构建 EP 规格并限制包范围 (vllm/lora/model_manager.py)：新增 _build_moe_ep_load_spec 从配置中构建 spec，并初始化时计算；_restrict_to_local_experts 在 pack 时将子模块列表限制为本地 expert。
4. 传递 spec 到加载器 (vllm/lora/worker_manager.py)：在 _load_adapter 中将 moe_ep_spec 传递给 from_local_checkpoint。
5. 端到端测试 (tests/lora/test_moe_lora_ep_load.py)：使用 Qwen3-MoE 真实 LoRA，验证 ep_size=2 时加载权重的大小和值正确性。

关键文件：

• vllm/lora/model_manager.py（模块 LoRA管理；类别 source；类型 core-logic；符号 _restrict_to_local_experts, _build_moe_ep_load_spec）: 核心改动，新增 _restrict_to_local_experts 和 _build_moe_ep_load_spec，实现专家级切片和 EP spec 构建。
• vllm/lora/lora_model.py（模块 LoRA模型；类别 source；类型 data-contract；符号 MoEEPLoadSpec, _is_remote_expert_key）: 定义 MoEEPLoadSpec 和 _is_remote_expert_key，修改 from_local_checkpoint 支持加载时跳过。
• tests/lora/test_moe_lora_ep_load.py（模块 加载测试；类别 test；类型 test-coverage；符号 _expected_lora_modules, _load, test_moe_lora_ep2_real_qwen3moe）: 新增端到端测试，覆盖 ep_size=2 时加载的正确性。
• vllm/lora/worker_manager.py（模块 Worker管理；类别 source；类型 entrypoint）: 传递 moe_ep_spec 给加载方法。

关键符号：_restrict_to_local_experts, _build_moe_ep_load_spec, MoEEPLoadSpec, _is_remote_expert_key, test_moe_lora_ep2_real_qwen3moe

评论区精华

gemini-code-assist 指出 _build_moe_ep_load_spec 仅从 self.modules（即 LoRA 启用的模块）中搜索，若 MoE 层自身未包含在 LoRA 目标中，该方法将返回 None，导致优化不生效。该问题在 PR 中未修复。

• MoE 层未启用 LoRA 时优化失效 (design): 未解决，PR 已合并但该设计局限仍存在。

风险与影响

• 风险：当 EP 启用但 MoE 层未配置 LoRA 时，_build_moe_ep_load_spec 返回 None，优化静默失效。测试仅覆盖 ep_size=2 的场景，其他配置未验证。新增的 spec 构建依赖 EP 配置正确同步。
• 影响：影响仅限于同时使用 EP 和 2D MoE LoRA 的用户，CPU 内存减少程度与全局 expert 数量线性相关。其他场景行为不变。
• 风险标记：MoE 层无 LoRA 时优化不生效, 测试覆盖有限(仅 ep_size=2), 依赖 EP 配置同步

关联脉络

• PR #43110 [EPLB] Change default EPLB communicator: 本 PR 基于相同的 expert parallelism 基础设施改进 LoRA 内存使用。
• PR #43314 [CI] Fix test_lora_with_spec_decode on V2 model runner: 同属 LoRA 模块改进，修复了与之相关的兼容问题。