执行摘要

• 一句话：修复 Triton MoE 路径 INT8 W8A8 激活崩溃
• 推荐动作：这是一个 2 行的迷你 bugfix，值得快速阅读。它的价值在于：一是展示了量化类型扩展时内核入口 dtype 契约容易遗漏的问题；二是作为回归案例提醒，在跟进 #50833 等上游改动时需同步检查所有入口校验。代码逻辑简单，无需精读。

功能与动机

PR body 说明：TritonExperts did not recognize torch.int8 as a valid input dtype, causing INT8 W8A8 MoE models to crash when processing quantized activations. 在 review 中 fxmarty-amd 补充指出该失败由 PR #50833 引入，属于回归修复而非新功能。

实现拆解

1. 定位问题：vllm/model_executor/layers/fused_moe/experts/triton_moe.py 中 TritonExperts.apply 的 hidden_states.dtype 校验列表缺少 torch.int8，当 INT8 W8A8 量化模型传入量化激活时触发 AssertionError，导致 EngineCore 初始化失败。
2. 放开 dtype 校验：在允许的 dtype 列表中加入 torch.int8，使 INT8 激活通过前置断言。
3. 映射计算类型：在 compute_type 分支中将 torch.int8 与 float8_e4m3fn/float8_e4m3fnuz 并列，统一映射到 tl.bfloat16，确保 Triton 内核按 bf16 计算，避免 int8 乘累加溢出或精度问题。
4. 验证：运行 pytest tests/quantization/test_quark.py::test_quark_int8_w8a8_moe，结果从 FAILED 变为 PASSED；本次未新增测试文件，属于修复已有测试的可运行性。

关键文件：

• vllm/model_executor/layers/fused_moe/experts/triton_moe.py（模块 MoE 专家；类别 source；类型 data-contract；符号 apply）: 这是 Triton MoE 专家前向路径的核心文件，apply 方法中的 dtype 断言直接导致 INT8 W8A8 崩溃；本次两处修改均在此方法内。

关键符号：apply

关键源码片段

vllm/model_executor/layers/fused_moe/experts/triton_moe.py

这是 Triton MoE 专家前向路径的核心文件，apply 方法中的 dtype 断言直接导致 INT8 W8A8 崩溃；本次两处修改均在此方法内。

# vllm/model_executor/layers/fused_moe/experts/triton_moe.py
# TritonExperts.apply 中的输入 dtype 校验与计算类型映射
​
# 校验激活 dtype：int8 是 W8A8 量化场景下的合法输入，
# 此前缺少该类型导致 INT8 激活直接触发断言崩溃
assert hidden_states.dtype in [
    torch.float32,
    torch.float16,
    torch.bfloat16,
    torch.float8_e4m3fn,
    torch.float8_e4m3fnuz,
    torch.int8,
]
​
# 将输入 dtype 映射为 Triton 计算类型：
# int8 与 float8 一样统一使用 bf16 计算，
# 既避免 int8 乘累加溢出，也保持与现有效率路径一致
if hidden_states.dtype == torch.bfloat16:
    compute_type = tl.bfloat16
elif hidden_states.dtype == torch.float16:
    compute_type = tl.float16
elif hidden_states.dtype == torch.float32:
    compute_type = tl.float32
elif (
    hidden_states.dtype == torch.float8_e4m3fn
    or hidden_states.dtype == torch.float8_e4m3fnuz
    or hidden_states.dtype == torch.int8
):
    compute_type = tl.bfloat16
else:
    raise ValueError(f"Unsupported compute_type: {hidden_states.dtype}")

评论区精华

核心讨论围绕回归根因：

fxmarty-amd（CHANGES_REQUESTED）：cc @ILikeIneine @DarkLight1337 @NickLucche as this failure was caused by https://github.com/vllm-project/vllm/pull/50833

后续 fxmarty-amd 再次审核时转为 APPROVED，说明经过确认该修复合理。

AndreasKaratzas（APPROVED）：LGTM

claude[bot]：来自 fork 的 PR 自动 review 被禁用。

• INT8 崩溃是否为 #50833 引入的回归 (question): 确认是回归修复，后续 review 中 fxmarty-amd 与 AndreasKaratzas 均批准。

风险与影响

• 风险：
  1. compute_type 统一到 bf16：与 float8 路径一致，但需确认 Triton kernel 内部是否对 int8 输入有额外反量化处理；当前改动仅放开入口，若内核未适配 int8 数据布局，后续计算可能出错（上下文不足，无法验证内核内部实现）。
  2. 回归面：放宽断言可能让非预期路径（如未量化的 int8 输入）通过校验，需确认调用方只会在 W8A8 量化下传入 int8。
  3. 测试覆盖有限：仅覆盖 Quark 单测一种配置，其他 INT8 W8A8 组合（不同 block_shape、per_act_token_quant、EP/DP）未新增测试。
     - 影响：用户侧：INT8 W8A8 MoE 模型可正常启动和运行 Triton 专家路径，解除启动崩溃。系统侧：无接口或行为变化，compute_type 与原 float8 路径保持一致。团队侧：改动面极小，风险可控；但该修复依赖已有测试覆盖，建议后续补充配置矩阵回归测试。
     - 风险标记：回归源来自 #50833, 测试覆盖有限, int8 计算依赖 bf16

关联脉络

• PR #50833 Unknown (referenced in review): fxmarty-amd 在 review 中指出本 PR 修复的 INT8 W8A8 MoE 崩溃由 #50833 引入，是本次修复的根因来源。