执行摘要

• 一句话：修复 batch invariance 在 Ampere GPU 上因 Triton matmul 未启用而失败的问题。
• 推荐动作：建议精读，以了解 batch invariance 机制中设备能力检查的设计决策，以及如何通过家族匹配扩展兼容性，适合关注核心路径优化和 GPU 支持的工程师。

功能与动机

关联 issue #38286 报告 batch invariance 在 RTX 3090（SM 86）上失败，通过测试隔离发现 CUBLAS matmul 不是 batch-invariant，而 Triton 替换未激活，因为 is_device_capability(80) 只精确匹配 SM 80，未覆盖 SM 86。PR 旨在修复此 bug，扩展 batch invariance 到所有 Ampere GPU。

实现拆解

仅修改一个文件：vllm/model_executor/layers/batch_invariant.py 中的 enable_batch_invariant_mode() 函数。将 is_device_capability(80) 改为 is_device_capability_family(80)，并移除冗余的 is_device_capability(89) 检查，因为家族检查已覆盖所有 SM 8.x 架构（包括 SM 80, 86, 87, 89）。

关键文件：

• vllm/model_executor/layers/batch_invariant.py（模块 layers）: 核心文件，控制 batch-invariant 模式的启用逻辑，改动直接影响哪些 GPU 使用 Triton matmul 替换 CUBLAS，是修复的关键。

关键符号：enable_batch_invariant_mode

评论区精华

gemini-code-assist[bot] 指出 is_device_capability(89) 检查在改为家族检查后冗余，建议移除；yewentao256 要求测试特定模型（如 DeepSeek-V2-Lite-Chat 和 Qwen3-30B-A3B-Thinking-2507-FP8）以验证兼容性，作者进行了测试并报告结果；最终 PR 被批准，冗余检查已移除，测试通过。

• 冗余代码移除 (design): 作者在最终提交中移除了该检查，优化了代码结构。
• 测试验证 (testing): 测试确认 batch invariance 在可用模型上工作正常，PR 被批准。

风险与影响

• 风险：风险较低：改动小，只改变设备能力检查逻辑，但需确保不会在非 Ampere GPU（如 SM 7.x 或 9.x）上错误启用 batch-invariant 模式。测试通过表明兼容性良好，但缺乏对其他 GPU 家族的回归测试。
• 影响：正面影响：修复 RTX 3090/3080/A6000/Jetson Orin 等设备的 batch invariance 问题，提高 vLLM 在更多 GPU 上的兼容性和确定性。对用户而言，这些设备现在能正常使用 batch invariance 功能，增强推理稳定性。
• 风险标记：兼容性扩展, 测试覆盖验证

关联脉络

• PR #38286 [Feature]: Batch invariance on 3090: 直接关联的 issue，报告了 batch invariance 在 RTX 3090 上的问题，推动此 PR 的修复。