执行摘要
修复 Gated Delta Network (GDN) 的 prefill 预热逻辑，使其精确模拟真实路径，解决了 Qwen3.5-27B-FP8 模型首次请求异常缓慢的问题，显著提升推理启动性能并消除 Triton 内核自动调优延迟。
功能与动机
此 PR 旨在修复 issue #39163 中报告的首次请求延迟问题。背景是用户在使用 Qwen3.5-27B-FP8 模型时，启动后的第一个请求耗时异常长。根本原因在于 GDN prefill 的预热路径未与真实 prefill 路径对齐：真实路径通过 fused_post_conv_prep 构建 q/k/v/g/beta 张量并调用 chunk_gated_delta_rule 时设置 use_qk_l2norm_in_kernel=False，而预热路径未遵循此契约，导致第一次请求仍需执行额外工作如 Triton 内核自动调优，从而造成延迟。
实现拆解
主要变更集中在文件 vllm/model_executor/layers/mamba/gdn_linear_attn.py 的 _warmup_prefill_kernels 方法：
- 输入张量构建：将原有的随机生成
q/k/v 张量改为使用 fused_post_conv_prep 函数，模拟真实 prefill 路径：
python
q, k, v, g, beta = fused_post_conv_prep(...)
- 内核调用参数对齐：将
chunk_gated_delta_rule 的 use_qk_l2norm_in_kernel 参数从 True 改为 False，以匹配真实调用。
- 清理和测试：更新张量清理逻辑，并新增测试文件
tests/model_executor/test_gdn_linear_attn.py 来验证预热路径与真实路径的契约一致性。
评论区精华
Review 讨论中突出以下要点：
- 测试目的澄清：ZJY0516 询问测试文件的用途，作者解释为“检查 warmup 路径是否像真实 prefill 调用一样行为”，以确保首次请求无额外工作。
- 参数变更理由：针对
use_qk_l2norm_in_kernel 的变更，作者强调“因为真实 prefill 调用使用 False”，所以预热必须对齐以避免不一致。
- 长期设计讨论：ZJY0516 建议移除测试文件，认为“需要更通用的预热方法”，并引发对通用策略的探讨，如默认启用
TRITON_PRINT_AUTOTUNING=1 来检测自动调优事件。最终结论是当前修复可接受，但未来需改进。
风险与影响
风险分析：
- 变更依赖 Triton 内核行为和 GDN 模型配置，若真实路径未来调整，需同步更新预热逻辑，否则可能导致预热失效。
- 测试覆盖虽新增，但测试文件被建议移除，可能减少长期验证。
- 低风险，因为变更仅对齐现有路径，未引入新功能。
影响评估：
- 用户影响：显著改善使用 GDN 模型（如 Qwen3.5-27B-FP8）的首次请求延迟，提升用户体验。
- 系统影响：减少启动后的内核自动调优开销，提升推理效率。
- 团队影响：解决了特定性能瓶颈，但提示了通用预热策略的重要性。
关联脉络
此 PR 与历史 PR #38933（性能改进：避免批大小变化时的重新编译）相关联，均关注通过优化预热或编译行为来避免推理延迟。从近期历史看，vLLM 项目持续优化内核性能和预热机制，本修复是这一趋势的一部分，未来可能演进为更通用的预热方案。
参与讨论