执行摘要

• 一句话：修复张量子类的 dummy 权重初始化
• 推荐动作：值得合并，修复了低比特张量子类初始化的缺陷。建议后续可添加针对张量子类的单元测试，确保该类边界的正确性。

功能与动机

一些张量子类（如 MXFP8 封装）的 .data 暴露低比特存储 dtype（如 FP8），但封装张量本身报告逻辑 dtype（如 bfloat16）。原先使用 param.data.dtype 导致这些封装进入低比特回退路径，该路径只重写原始存储张量，绕过了封装类的 uniform_() 逻辑，无法更新侧张量（如 block scales）。

实现拆解

1. 在 python/sglang/srt/model_loader/weight_utils.py 的 initialize_dummy_weights() 函数中，将条件判断从 torch.finfo(param.data.dtype).bits < 16 改为 torch.finfo(param.dtype).bits < 16。
2. 保留原有回退路径（生成 float16 张量并 copy 回 param.data），但仅当张量的逻辑 dtype 位数小于 16（如 FP8）时才触发。
3. 对于逻辑 dtype 为 16 位或以上的张量子类（如 bfloat16），直接调用 param.uniform_()，利用封装类的自定义实现，确保 block scales 等侧张量也被正确初始化。

关键文件：

• python/sglang/srt/model_loader/weight_utils.py（模块 模型加载；类别 source；类型 data-contract；符号 initialize_dummy_weights）: 核心变更文件，修改 dummy 权重初始化函数中的 dtype 判断逻辑

关键符号：initialize_dummy_weights

关键源码片段

python/sglang/srt/model_loader/weight_utils.py

核心变更文件，修改 dummy 权重初始化函数中的 dtype 判断逻辑

def initialize_dummy_weights(
    model: torch.nn.Module,
    low: float = -1e-3,
    high: float = 1e-3,
    seed: int = 1234,
) -> None:
    """Initialize model weights with random values."""
    for param in model.state_dict().values():
        if torch.is_floating_point(param):
            generator = torch.Generator(device=param.data.device)
            generator.manual_seed(seed)
            # 使用 param.dtype 而非 param.data.dtype，以支持张量子类
            # 例如 MXFP8 wrapper 的逻辑 dtype 为 bfloat16，而 .data 为 FP8
            if torch.finfo(param.dtype).bits < 16:
                # uniform_ 不支持 FP8 等低比特 dtype
                dtype = param.data.dtype
                tmp_param = param.data.to(torch.float16)
                tmp_param = tmp_param.uniform_(low, high, generator=generator).to(dtype)
                param.data.copy_(tmp_param)
            else:
                # 对于逻辑 dtype 为 16 位及以上的张量（包括子类），调用其 uniform_
                param.uniform_(low, high, generator=generator)

评论区精华

无 review 评论。

• 暂无高价值评论线程

风险与影响

• 风险：低风险。变更仅影响 initialize_dummy_weights 中的判断条件，且逻辑清晰；但需确保所有张量子类的 dtype 属性正确反映其逻辑 dtype。若存在 dtype 返回错误类型的子类，可能导致回退路径错误。
• 影响：直接影响使用低比特张量子类（如 MXFP8）的模型在 dummy 权重初始化时的行为，使这些模型不再丢失 block scales 等侧张量的初始化。不影响普通张量或未使用张量子类的场景。
• 风险标记：缺少测试覆盖

关联脉络

• 暂无明显关联 PR