执行摘要
TRTLLM FP8 MoE 支持 FlashInfer A2A 后端
允许 FlashInfer A2A 后端与 TRTLLM FP8 MoE 模块化内核一起使用,满足特定并行策略的部署需求。PR body 说明这是 #46551 的移植。
值得合并,但建议补充测试确保新配置组合的正确工作。
无 review 讨论,仅 claude[bot] 自动回复和 zyongye 批准。
允许 FlashInfer A2A 后端与 TRTLLM FP8 MoE 模块化内核一起使用,满足特定并行策略的部署需求。PR body 说明这是 #46551 的移植。
值得合并,但建议补充测试确保新配置组合的正确工作。
无 review 讨论,仅 claude[bot] 自动回复和 zyongye 批准。
vllm/model_executor/layers/fused_moe/experts/trtllm_fp8_moe.py 的 TrtLlmFp8ExpertsModular._supports_parallel_config 方法中,新增 moe_parallel_config.use_fi_nvl_one_sided_kernels 和 moe_parallel_config.use_fi_nvl_two_sided_kernels 两个条件,使 FlashInfer A2A 后端通过 _supports_parallel_config 校验。| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
vllm/model_executor/layers/fused_moe/experts/trtllm_fp8_moe.py |
MoE 内核 | modified | 4.13 |
vllm/model_executor/layers/fused_moe/experts/trtllm_fp8_moe.py
data-contract
唯一修改的文件,在 `_supports_parallel_config` 中添加两个 FlashInfer A2A 后端的支持。
# 位于 trtllm_fp8_moe.py 第 134 行
@staticmethod
def _supports_parallel_config(moe_parallel_config: FusedMoEParallelConfig) -> bool:
return (
not moe_parallel_config.use_all2all_kernels
or moe_parallel_config.use_ag_rs_all2all_kernels
or moe_parallel_config.use_deepep_v2_kernels
# 新增:允许 FlashInfer A2A 后端(单侧和双侧)
or moe_parallel_config.use_fi_nvl_one_sided_kernels
or moe_parallel_config.use_fi_nvl_two_sided_kernels
) and not moe_parallel_config.enable_eplb
当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。
风险极低。仅修改条件判断逻辑,增加对两个新配置项的接受,不会影响已有功能。但缺失测试覆盖,建议补充相应的单元测试确保配置兼容性。
影响面窄,仅涉及 TRTLLM FP8 模块化 MoE 在 FlashInfer A2A 后端下的可用性。对不使用该后端的场景无影响。
当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。
参与讨论