执行摘要
本PR为SM120架构GPU（如RTX 5090）新增了FP8量化模型的CI测试，覆盖逐张量（Llama-3.1-8B-Instruct-FP8）和分块（Qwen3-4B-Instruct-2507-FP8）两种量化格式，通过GSM8K准确性评估验证功能。这是解决#20600测试覆盖率问题的一部分，填补了单5090 GPU上FP8测试的空白，风险较低但提升了特定硬件的测试完整性。
功能与动机
动机：根据PR body，主要目标是“改进SM120上量化模型测试的覆盖率”。现有测试已包含Blackwell多GPU上的FP4覆盖和其他套件中的FP8测试，但缺少在单5090/SM120上的FP8量化模型测试。PR作者指出这是“解决#20600的众多措施之一”。
关键表述：
"Missing single-5090 coverage for these tests. This PR addresses coverage for FP8-quantized models in particular."
实现拆解
实现集中在一个新增的测试文件中：
| 文件路径 |
关键内容 |
作用 |
test/registered/quant/test_fp8_gemm_sm120.py |
定义基类FP8GemmSM120Base和两个测试子类 |
封装服务器启动、GSM8K评估和清理逻辑 |
核心逻辑：
- 基类设计：
FP8GemmSM120Base 提供通用的setUpClass（启动服务器）和test_gsm8k（运行评估）方法。
- 测试注册：通过
register_cuda_ci(est_time=120, suite="stage-b-test-small-1-gpu") 将测试集成到CI流水线。
- 两种量化格式测试：
TestFP8PerTensorGemmSM120Auto：测试逐张量量化的Llama模型，准确性阈值≥0.73。TestFP8BlockwiseGemmSM120Auto：测试分块量化的Qwen模型，准确性阈值≥0.87。
- 硬件检查：使用
@unittest.skipIf(get_device_sm() < 100, "Test requires CUDA SM 100 or higher") 确保仅在SM100+设备运行。
评论区精华
review讨论非常简短但关键，体现了对测试覆盖完整性的关注：
b8zhong: "Looks good. Can we also add Qwen/Qwen3-4B-Instruct-2507-FP8. The quantization format will be a bit different (blockwise vs per-tensor scale)."
作者DerekY2在issue评论中回应“刚刚添加了👍”，并在第二次提交中实现了该建议，确保了测试同时覆盖两种主要的FP8量化格式。
风险与影响
风险：
- 外部依赖：测试依赖Hugging Face模型仓库，网络或模型可用性问题可能导致CI失败。
- 阈值设置：准确性阈值（0.73和0.87）可能因模型更新或评估波动导致CI不稳定。
- 执行时间：预估120秒可能增加CI流水线负担。
影响：
- 对用户：无直接影响。
- 对系统：提升了SM120设备上FP8量化功能的测试覆盖率，有助于早期发现回归。
- 对团队：CI将更全面验证FP8量化，特别是针对RTX 5090等硬件，作为#20600整体测试改进的一部分。
关联脉络
与历史PR的关联：
- #21888 和 #21576：都涉及FP8量化相关修改，属于同一技术领域，本PR的测试可能覆盖这些变更。
- #21233：涉及量化代码重构，本PR的测试有助于验证重构后的功能。
演进方向：本PR是#20600测试覆盖率提升计划的一部分，近期多个PR（如#21888、#21576）都在加强量化相关测试，表明团队正系统性地完善量化功能的验证体系，特别是在不同硬件架构上的覆盖。
参与讨论