vllm-project/vllm · 标签视图

FP8 dummy 初始化去除冗余拷贝，GB200 提速约 2.2 倍

值得快速阅读。该 PR 展示了一个小而典型的 PyTorch 性能优化模式：避免对即将覆盖的缓冲区做拷贝、用 `empty_like` 替代 `to` 分配、合并 dtype 转换进最终 `copy_`。对于涉及大规模张量初始化的开发者有直接借鉴价值；也体现了对 #56682 遗留优化的及时跟进，适合作为系列化性能收尾的范例。

Kimi K3 MLA 缓存插入支持 FP8 分组内核，小 batch 提速约 6 倍

值得精读。三条设计决策值得关注：(1) 用模板参数而非运行时分支承担 BF16/FP8 差异，hot loop 中 `if constexpr` 零开销；(2) 每层 cache 基址与 scale 都放进设备端 tensor，一次 launch 内并行读取，这是 5 层合并后还能继续扩展到更多层的关键；(3) `process_weights_after_loading` 的时序修复揭示了 vLLM 里 `_k_scale` 这类量化 scale 的定稿时机，凡是要缓存量化参数的地方都应遵循同样的约束。建议读者重点比对 `cache_kernels.cu` 的派发宏与 host 校验顺序，以及测试中 `shared_slot_mapping` 别名场景的覆盖方式；若后续要在其它模型复用该内核，需要先确认 `_has_uniform_block_layout` 这类前提在目标模型上是否成立。

修复 ROCm AITER 预重排 FP8 内核错误，恢复 MLA 模型精度

建议精读，尤其是维护 ROCm、量化 GEMM 或 MLA 路径的工程师：这是典型的「内核与模型各做一次权重变换」类静默 bug，修复手法（能力标志 + 运行时兜底 + 生产者-消费者布局协商 + 拒绝不一致快路径）可直接迁移到其他平台后端。重点看三处设计决策：一是为什么 `is_bmm`/`skip_weight_relayout` 必须在 `process_weights_after_loading` 而不是 `can_implement` 里判断；二是 `_wq_b_act_scale_transpose` 返回 `bool | None`、把「无法协商」显式编码为回退信号；三是 `apply_block_scaled_mm` 的 byte-order 契约只有 docstring 兜底。后续行动建议：补一个 TP >= 4 的 DeepSeek/Kimi 端到端或 kernel 级回归测试（校验行/列主序 As 的数值差异），并确认 `_reads_weight_directly` 提前 return 时跳过 e8m0 upcast 是否有意为之。

ROCm FP8 分块 GEMM 新增预洗牌内核

值得精读，尤其是正在维护 ROCm FP8 线性层或负责 DSv3 类模型部署的工程师。建议重点关注三个设计决策：(1) 为什么用独立内核类而不是 `_is_bpreshuffled` 标志位（review 结论很清晰：布局差异 + 日志可观测性）；(2) 为什么用调优表而非环境变量做启用门禁（fallback 会 fault/数值错误，宁可退回旧内核）；(3) `apply_block_scaled_mm` fail-fast 的边界——这是外部反馈 V4 初始化失败的直接原因，值得评估是否改为委托父类实现或按形状再判一次。复现时请先按 PR body 设置 `VLLM_ROCM_USE_AITER_FP8BMM=0`，并注意需自行验证 mawong-amd 报告的 V3 TP8 输出异常是否仍然存在；如果要在生产启用，建议先在目标机型上用 `is_blockscale_bpreshuffle_tuned` 确认调优表命中，再对比开启前后的 GSM8k/长上下文精度。后续应补一个 ROCm 侧的选型单测（覆盖 tuned/未 tuned、N 或 K 非 128 倍数、e8m0 scale 上采样三个分支）。

修复 batched CUTLASS MoE workspace 重复乘 DP 的显存超配

值得精读，但阅读成本极低（单文件 +2/-4），重点不是 diff 本身而是它背后的语义：`FusedMoEActivationFormat.BatchedExperts` 下 `M` 已经是 `max_tokens_per_rank * num_dispatchers` 的全局容量，因此 workspace 的 token 维度不能再乘 `num_dispatchers`。建议关注三点：一是 `assert num_dp is not None` 被移除后是否还有别处依赖该断言做早期校验；二是 `output` 与两个 workspace 现在尺寸语义一致是否可写成注释/文档固化；三是强烈建议补一个 `workspace_shapes` 的参数化单测（覆盖不同 DP、local experts、activation）把内存契约锁住，避免这类“显存放大约 32 倍”的静默 bug 再次出现。

跳过无 ScaledMM 内核的 ModernBERT FP8 测试，并将 MTEB 任务迁移到 MI300

值得关注此 PR 中的跳过逻辑实现，特别是如何复用现有 `is_quant_method_supported` 并增加平台特定检查。

为 AMD MI300/MI350 添加 AITER FP8 ViT 注意力

值得精读，特别是 `vllm/_aiter_ops.py` 中的自定义 op 注册模式和 `mm_encoder_attention.py` 中后端子分发技巧，为未来添加更多 AMD 加速算子提供参考。测试和基准测试齐全，适合作为新硬件集成示例。

提前缓存 AITER e8m0 权重标量 fp32 转换

值得精读，尤其是对 vLLM 的权重加载钩子 `process_weights_after_loading` 的使用展示了如何优雅地将重复计算从热路径移除。对于从事 ROCm 性能优化或量化推理的开发者有直接参考价值。