#35505 [Deepseek-V4] Enable shared-experts fusion on the flashinfer_mxfp4 (trtllm-gen) MoE path
原始 PR · 作者 shikicloud · 合并时间 2026-08-26 05:55
启用 DSV4 flashinfer_mxfp4 共享专家融合,显著降低 TTFT 与 ITL
值得精读。这是一个"机制已存在、本 PR 负责启用与防护"的典型范例:源码改动极小(12 行 guard),但通过契约测试把量化 wire format 钉死,并通过 fail-fast 防护避免 EP 下静默错误。可重点关注 `uses_per_rank_fused_shared_slots()` 与 `_maybe_load_fp8_shared_expert_as_fp4` 的交互,以及测试中对 -0.0 编码的断言处理方式。
参与讨论