#7428 [fsdp] fix: skip no-op unit temperature scaling
原始 PR · 作者 Mengyuyang · 合并时间 2026-09-01 13:56
性能优化
重要性 7.27
洞察度 5.00
FSDP 引擎跳过温度为 1 时的全词表 logits 缩放,降低峰值内存。
建议精读。这是一个小范围但设计精良的性能优化 PR。它清晰地识别了一个可以安全跳过的计算(温度=1 时的恒等缩放),通过引入清晰的辅助函数和状态传递实现了优化,同时配套了完备的测试和容错处理。其“识别并跳过 no-op”的优化思路和“保持兼容性”的实现方式,对于处理类似场景具有参考价值。
参与讨论