功能
重要性 9.18
洞察度 7.00
LayerNorm 序列并行：prefill 激活内存与延迟双降
值得精读，尤其三个设计决策：(1) CUDA graph 下捕获区内写入的 Python 标志在回放时过期这一问题的识别与 `runs_sp` 规避方案；(2) `LayerCommunicator` 构造全 `SCATTERED` sibling 的委托模式，避免在每个模型里打点；(3) fused matmul+collective 的可用性探测与普通 collective fallback 策略，兼顾性能与跨 torch 版本兼容性。对后续做任何序列切分、通信融合类特性都有直接参考价值。