缺陷修复
重要性 5.28
洞察度 7.00
修复 DeepSeek-V4 路由器 sqrtsoftplus 下溢和权重归一化除零，防止专家权重 NaN。
该 PR 是一个高质量的、针对性的 bugfix，解决了可能导致生产事故的严重数值问题。作者在 PR body 中提供了极其详尽的技术分析，展示了对问题的深刻理解。由于其修复了核心路由路径的数值稳定性，且变更涉及 Triton/CUDA 内核，**强烈建议所有关注模型推理稳定性和 MoE 路由正确性的工程师精读**。特别关注其实现的 `log1p` 数学技巧和归一化 epsilon 的添加方式。虽然没有讨论线程，但其技术方案清晰合理。