执行摘要

• 一句话：为 benchmark_moe.py 新增 Kimi K3 MoE 参数解析分支
• 推荐动作：值得快速阅读并纳入 benchmark 工具链。虽然改动很小，但展示了多模态模型 MoE config 解析的两个易踩坑点：参数嵌套在 text_config 中、top-k 字段命名差异（num_experts_per_token vs num_experts_per_tok）。建议后续为 get_model_params() 补充针对不同架构 config 的单元测试，固化字段名映射，防止未来架构新增时再次回退崩溃。

功能与动机

PR body 说明：benchmarks/kernels/benchmark_moe.py 无法对 Kimi K3 调优 fused MoE Triton kernel，因为 get_model_params() 不识别 KimiK3ForConditionalGeneration，回退到 Mixtral 默认分支后访问 num_local_experts 触发 AttributeError（Kimi 的 config 没有该字段）。Kimi K3 是多模态模型，MoE 参数嵌套在 KimiLinearConfig 的 text_config 中，且 top-k 字段名为 num_experts_per_token 而非常见的 num_experts_per_tok，因此需要专门分支。

实现拆解

1. 定位问题：get_model_params() 在 benchmarks/kernels/benchmark_moe.py 中按 architecture 分流提取 MoE 参数；Kimi K3 未命中任何显式分支，落入默认 Mixtral 分支，尝试读取 config.num_local_experts 时崩溃。
2. 新增分支：在 Qwen3OmniMoeForConditionalGeneration 与 PixtralForConditionalGeneration 分支之间插入 elif architecture in ("KimiK3ForConditionalGeneration", "KimiLinearForCausalLM")，通过 config.get_text_config() 获取嵌套文本配置，再读取 num_experts、num_experts_per_token、moe_intermediate_size、hidden_size。该分支同时覆盖纯文本版 KimiLinearForCausalLM（其 get_text_config() 返回自身）。
3. 验证方式：作者用 get_config() 加载 released Kimi K3 配置并调用 get_model_params()，输出 (E=896, topk=16, moe_intermediate_size=3072, hidden_size=7168)，与模型配置一致；配合 --tp-size 8 --enable-expert-parallel 得到 E_local=112、shard N=6144。
4. 配套改动：未新增自动化测试，只有 PR body 中的手动验证脚本；19 个提交中除首个核心提交外均为合并 main 的同步提交，无配置、部署或依赖变更。

关键文件：

• benchmarks/kernels/benchmark_moe.py（模块 基准脚本；类别 source；类型 core-logic；符号 get_model_params）: 唯一的变更文件，在 get_model_params() 中新增 Kimi K3 专用分支，修复离线 MoE kernel 调优脚本对 Kimi K3 的解析崩溃，并同时覆盖多模态与纯文本两种架构。

关键符号：get_model_params

关键源码片段

benchmarks/kernels/benchmark_moe.py

唯一的变更文件，在 get_model_params() 中新增 Kimi K3 专用分支，修复离线 MoE kernel 调优脚本对 Kimi K3 的解析崩溃，并同时覆盖多模态与纯文本两种架构。

    elif architecture in (
        "Qwen3VLMoeForConditionalGeneration",
        "Qwen3_5MoeForConditionalGeneration",
        "Qwen3_5MoeTextConfig",
    ):
        # 多模态模型：MoE 参数嵌套在 text_config 中，先取出文本子配置
        text_config = config.get_text_config()
        E = text_config.num_experts
        topk = text_config.num_experts_per_tok
        intermediate_size = text_config.moe_intermediate_size
        hidden_size = text_config.hidden_size
    elif architecture in (
        "KimiK3ForConditionalGeneration",
        "KimiLinearForCausalLM",
    ):
        # Kimi K3 为多模态模型：MoE 参数位于嵌套的 KimiLinearConfig text_config 中。
        # 关键差异：top-k 字段名为 num_experts_per_token（而非其他模型的 num_experts_per_tok），
        # 且纯文本 KimiLinearForCausalLM 的 get_text_config() 会返回自身。
        text_config = config.get_text_config()
        E = text_config.num_experts
        topk = text_config.num_experts_per_token
        intermediate_size = text_config.moe_intermediate_size
        hidden_size = text_config.hidden_size
    elif architecture == "PixtralForConditionalGeneration":
        # Pixtral 可包含不同 LLM 架构，递归提取参数
        return get_model_params(config.get_text_config())
    else:
        # 默认分支（Llama 4 / Mixtral）：回退到 Mixtral 字段名
        config = config.get_text_config()
        E = config.num_local_experts
        topk = config.num_experts_per_tok
        intermediate_size = config.intermediate_size
        hidden_size = config.hidden_size
​
    return E, topk, intermediate_size, hidden_size

评论区精华

Review 没有产生代码评论，核心讨论集中在 issue 评论区：作者主动 ping AMD ROCm 维护者（@tjtanaa、@dllehr-amd）请求 review 并确认改动只影响离线 benchmark_moe.py；mergify[bot] 两次提示 pre-commit 检查失败（要求运行 pre-commit run --all-files）；维护者 hongxiayang 触发多轮 Buildkite CI（#83062、#84661、#84662）后批准合并。

• Kimi K3 参数解析正确性验证 (question): 验证通过，维护者 hongxiayang 批准合并，无额外修改要求。
• pre-commit 检查失败处理 (style): 作者通过后续合并 main 分支同步修复格式问题，最终通过合并前检查。
• CI 与审核流程 (other): 维护者批准合并，PR 关闭；无需进一步代码修改。

风险与影响

• 风险：影响面极小：改动仅限离线 benchmark 脚本 benchmarks/kernels/benchmark_moe.py，不进入 vLLM 运行时路径，默认架构（Mixtral、Llama 4 等）行为完全不变。主要风险有三：其一，无自动化测试，字段名映射（num_experts_per_token、moe_intermediate_size、嵌套 text_config）依赖 transformers 对 Kimi 配置的具体实现，上游若改名会再次回归；其二，KimiLinearForCausalLM 的 get_text_config() 返回自身的行为依赖于 transformers 版本一致性；其三，pre-commit 曾失败，说明格式规范需要留意，但最终已通过。
• 影响：对用户的影响是正向的：AMD/ROCm 团队及使用 benchmark_moe.py 进行 MoE kernel 调优的开发者现在可以对 Kimi K3 执行 fused MoE Triton kernel 调优（含 expert-parallel 场景），此前脚本会直接崩溃。对系统无运行时影响，对其他架构的调优流程保持兼容。团队层面，该改动建立了一个可复用的“多模态模型 MoE 参数从嵌套 text_config 提取”的分支模式，为后续支持同类架构提供参考。整体影响程度低，属工具链增强。
• 风险标记：仅影响离线 benchmark 工具, 缺少自动化测试覆盖, 依赖 transformers 配置字段命名, pre-commit 曾失败后已通过

关联脉络

• PR #37068 Add Qwen3.5 MoE support to benchmark_moe.py（据 PR body 引用）: PR body 明确说明新增的 Kimi K3 分支完全仿照 #37068 中 Qwen3.5 handler 的实现模式，是多模态模型 MoE 参数从嵌套 text_config 提取这一模式的同源延续。