Prhub

#44435 [Doc] Add Llama-3.2-3B-Instruct to batch-invariance tested models

原始 PR 作者 DaoyuanLi2816 合并时间 2026-06-06 07:04 文件变更 1 提交数 6 评论 8 代码增减 +2 / -5

执行摘要

更新 batch-invariance 文档:添加 Llama-3.2-3B 并放宽 GPU 要求

来自issue #27433的讨论,用户发现Llama-3.2-3B在batch-invariance测试中正确但未被列入文档。审核者yewentao256批准添加。同时,根据实际测试和PR #42456的SM 8.x CUDA graphs支持,正式放宽硬件要求。

简单的文档更新,已验证通过,可直接合并。对于关注batch-invariance的用户提供准确信息。

讨论亮点

审核者yewentao256提出三项建议:

1) 不维护具体GPU设备列表("Let's not maintain this device list");
2) 不列举具体模型而用系列代替("Let's not maintain specific model");
3) 完全移除设备型号仅保留计算能力("Let's remove this directly, so we don't need to maintain the devices")。提交者全部采纳,体现文档可维护性优先。

实现拆解

纯文档修改,仅涉及 docs/features/batch_invariance.md

  1. 将Llama 3条目从具体模型枚举改为系列表述:Llama3.1 and 3.2 series, meta-llama/Llama-3.2-3B-Instruct for example
  2. 硬件要求从 compute capability 9.0 or higher 改为 8.0 or higher,并删除H-series/B-series设备列表。
  3. 根据审核反馈,进一步移除刚添加的Ampere/Ada Lovelace设备列表,只保留计算能力描述。
文件 模块 状态 重要度
docs/features/batch_invariance.md 文档 modified 2.07

分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

GPU 设备列表维护 documentation

审核者两次建议移除设备列表:第一次建议移除 Ampere/Ada 列表,第二次建议直接删除所有设备型号,以降低维护负担。

结论:提交者完全采纳,最终硬件要求只保留计算能力描述。 · 已解决

模型列表简化 documentation

审核者建议将具体模型枚举改为系列加示例,避免未来频繁更新。

结论:提交者采纳,使用 'Llama3.1 and 3.2 series, meta-llama/Llama-3.2-3B-Instruct for example' 格式。 · 已解决

风险与影响

无技术风险。文档内容变更经过实际测试验证,但用户可能依赖文档判断硬件兼容性,需确保放宽要求准确。已通过SM 8.9和B300验证。

对用户:明确batch-invariance支持NVIDIA SM 8.x及以上GPU,并确认Llama-3.2-3B通过测试。对系统:无运行时影响。对团队:减少设备列表维护工作。

关联 Issue

未识别关联 Issue

当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。

完整报告

参与讨论