执行摘要

• 一句话：修复 Qwen3 权重交换方法的幂等问题
• 推荐动作：此 PR 为小范围稳健性改进，值得合并。建议后续跟进 Review 中提出的 PP 和 tie_word_embeddings 优化，并增加对应测试。

功能与动机

当 set_embed_and_head 被多次调用，或者 embed_tokens.weight / lm_head.weight 已被删除（例如先前的 tie/share 步骤后），直接 del 会引发 AttributeError。PR body 明确指出需要守卫 del 语句以实现幂等性。

实现拆解

1. 修改方法定义：在 python/sglang/srt/models/qwen3.py 的 set_embed_and_head 方法中，将原来的两行无条件 del 替换为带 hasattr 检查的条件删除。
2. 保持后续操作不变：重新赋值 self.model.embed_tokens.weight = embed 和 self.lm_head.weight = head，以及 torch.cuda.empty_cache() 和 torch.cuda.synchronize() 保持不变，因为这些操作本身是幂等的。
3. 无其他文件变更：只涉及一个文件的 4 行新增和 2 行删除，没有新增测试或配置。

关键文件：

• python/sglang/srt/models/qwen3.py（模块 模型层；类别 source；类型 data-contract；符号 set_embed_and_head）: 核心变更文件，修改了 set_embed_and_head 方法，增加了 hasattr 守卫

关键符号：set_embed_and_head

关键源码片段

python/sglang/srt/models/qwen3.py

核心变更文件，修改了 set_embed_and_head 方法，增加了 hasattr 守卫

# python/sglang/srt/models/qwen3.py
# 修改后：使用 hasattr 守卫 del，确保幂等性
def set_embed_and_head(self, embed, head):
    # 使用 hasattr 检查避免在 weight 已被删除时 AttributeError
    if hasattr(self.model.embed_tokens, "weight"):
        del self.model.embed_tokens.weight
    if hasattr(self.lm_head, "weight"):
        del self.lm_head.weight
    self.model.embed_tokens.weight = embed
    self.lm_head.weight = head
    # 以下操作即使重复执行也无副作用
    torch.cuda.empty_cache()
    torch.cuda.synchronize()

评论区精华

Review 中 gemini-code-assist[bot] 指出，在 pipeline parallelism 启用时，非首 rank 的 embed_tokens 和非末 rank 的 lm_head 是 PPMissingLayer，当前实现会在这些占位符上不必要地赋值 weight。当 tie_word_embeddings 启用时，lm_head 与 embed_tokens 是同一个对象，重复赋值可能造成额外内存。该评论建议更健壮的实现，但当前 PR 未采纳这些建议。原始提交者 self-review 确认 hasattr 检查是正确的做法，且 re-assign 和缓存清理是幂等的。

• PP 和 tied embedding 场景下不必要的赋值 (correctness): 作者未采纳建议，认为当前实现满足幂等性目标，后续可优化。

风险与影响

• 风险：
  1. PP 不必要赋值：非首/末 rank 的 PPMissingLayer 会获得不必要的 weight 赋值，但不会导致错误，仅增加轻微内存开销。
  2. tie_word_embeddings 重复赋值：当 lm_head 与 embed_tokens 是同一对象时，重新赋值两次可能导致意外的引用丢失，但当前逻辑下风险较低，因为赋值是引用拷贝。
  3. 缺少测试：没有新增测试覆盖幂等性场景，可能在未来回归。
     - 影响：影响范围小，仅影响 Qwen3 模型在 PP 和 tie_word_embeddings 配置下的权重管理。用户无需修改调用代码，即可获得更健壮的行为。
     - 风险标记：核心路径变更, 缺少测试覆盖

关联脉络

• 暂无明显关联 PR