执行摘要
- 一句话:更新batch-invariance文档:添加Llama-3.2-3B并放宽GPU要求
- 推荐动作:简单的文档更新,已验证通过,可直接合并。对于关注batch-invariance的用户提供准确信息。
功能与动机
来自issue #27433的讨论,用户发现Llama-3.2-3B在batch-invariance测试中正确但未被列入文档。审核者yewentao256批准添加。同时,根据实际测试和PR #42456的SM 8.x CUDA graphs支持,正式放宽硬件要求。
实现拆解
纯文档修改,仅涉及 docs/features/batch_invariance.md。
- 将Llama 3条目从具体模型枚举改为系列表述:
Llama3.1 and 3.2 series, meta-llama/Llama-3.2-3B-Instruct for example。
- 硬件要求从
compute capability 9.0 or higher 改为 8.0 or higher,并删除H-series/B-series设备列表。
- 根据审核反馈,进一步移除刚添加的Ampere/Ada Lovelace设备列表,只保留计算能力描述。
关键文件:
docs/features/batch_invariance.md(模块 文档;类别 docs;类型 documentation): 唯一变更文件,包含硬件要求放宽和模型列表更新,是PR核心。
关键符号:未识别
评论区精华
审核者yewentao256提出三项建议:
1) 不维护具体GPU设备列表("Let's not maintain this device list");
2) 不列举具体模型而用系列代替("Let's not maintain specific model");
3) 完全移除设备型号仅保留计算能力("Let's remove this directly, so we don't need to maintain the devices")。提交者全部采纳,体现文档可维护性优先。
- GPU设备列表维护 (documentation): 提交者完全采纳,最终硬件要求只保留计算能力描述。
- 模型列表简化 (documentation): 提交者采纳,使用'Llama3.1 and 3.2 series, meta-llama/Llama-3.2-3B-Instruct for example'格式。
风险与影响
- 风险:无技术风险。文档内容变更经过实际测试验证,但用户可能依赖文档判断硬件兼容性,需确保放宽要求准确。已通过SM 8.9和B300验证。
- 影响:对用户:明确batch-invariance支持NVIDIA SM 8.x及以上GPU,并确认Llama-3.2-3B通过测试。对系统:无运行时影响。对团队:减少设备列表维护工作。
- 风险标记:暂无
关联脉络
- PR #27433 Discussion on adding Llama-3.2-3B to batch-invariance tested models: 该issue触发了本PR的动机和讨论。
- PR #42456 Enable CUDA graphs on SM 8.x: 该PR为硬件要求放宽到SM 8.0提供了技术基础。
参与讨论