执行摘要
本PR为CPU fused MoE内核新增gelu激活函数支持，通过扩展C++枚举、实现gelu_and_mul函数、更新Python映射和测试，提升了CPU后端对gelu激活模型的兼容性。同时，PR意外包含了attention KV split的环境变量配置修改。核心讨论围绕erf计算的性能优化和函数命名准确性展开，建议关注向量化优化点以提升性能。
功能与动机
本PR的主要动机是扩展CPU fused MoE内核支持的激活函数类型，以覆盖需要gelu激活的模型。根据PR body描述，目的是“Add gelu act in cpu_fused_moe”，解决特定模型或用户需求。没有关联Issue，表明这可能是一个内部改进或预研功能。
实现拆解
实现分为三个核心部分：
- C++内核扩展：在
csrc/cpu/cpu_fused_moe.cpp中，添加FusedMOEAct::GeluAndMul枚举值，并实现gelu_and_mul函数。该函数使用门控乘法模式，但erf计算当前为标量循环，存在优化空间。
- Python层映射：在
vllm/model_executor/layers/fused_moe/cpu_fused_moe.py中，新增_gelu_and_mul函数（原名经review修正），使用PyTorch的F.gelu(approximate="none")实现，并注册到_CPU_MOE_ACT_FN字典。
- 测试更新：修改
tests/kernels/moe/test_cpu_fused_moe.py，将GELU加入测试激活列表，确保新功能正确性。
额外修改包括在vllm/envs.py中添加VLLM_CPU_ATTN_SPLIT_KV环境变量，并在vllm/v1/attention/backends/cpu_attn.py中使用该变量控制attention KV split，这与gelu功能无关，可能是一个独立的配置改进。
评论区精华
review中gemini-code-assist[bot]提供了关键反馈：
“erf计算使用标量循环，应使用向量化er()方法提升性能。”
“函数名_gelu_and_mul_tanh与实际非近似gelu不符，建议重命名为_gelu_and_mul。”
这些讨论突出了性能优化和设计一致性的重要性。函数名在提交中已修正，但erf向量化优化状态未知，需后续验证。
风险与影响
- 性能风险：C++代码中erf计算未向量化，可能导致CPU fused MoE性能瓶颈，尤其在批量推理时。
- 兼容性风险：新增gelu激活需确保与现有模型和其他激活函数行为一致，避免回归问题。
- 配置风险：环境变量
VLLM_CPU_ATTN_SPLIT_KV的引入可能影响CPU attention后端行为，默认值设置需谨慎。
- 影响范围：用户受益于更广泛的模型支持，但团队需维护新代码并监控性能指标。
关联脉络
从历史PR看，本PR与以下趋势相关：
- 性能融合内核演进：如PR #32996（SiLU融合量化）和PR #34664（MXFP8支持），显示vllm在持续优化融合内核以提升推理性能。
- CPU后端增强：近期PR如#38743（CPU清理）和#38750（ROCm修复），表明团队在扩展和稳定CPU支持。
- v1标签集中：多个PR（如#36836 RayExecutorV2）带有v1标签，指向v1版本的架构迭代，本PR作为一部分贡献了CPU功能完善。
整体上，本PR是CPU后端功能扩展的一个环节，未来可能带动更多激活函数或优化内核的开发。
参与讨论