#6001 [data] fix: pad data in preprocess_packed_seqs if shorter than align_size
作者 beirong8kmiles · 合并时间 2026-04-16 16:04
修复序列预处理中数据长度不足导致的索引越界问题,确保上下文并行切片安全。
该 PR 值得精读,因为它展示了在分布式训练中处理数据对齐和边界条件的典型模式。关注点包括: - 如何安全地处理可变长度序列的切片,避免索引越界。 - 在 review 讨论中,权衡了填充方案与索引检查方案的优缺点,最终选择了更轻量级的修复方式。 - 可作为处理类似数据预处理边界问题的参考案例。
参与讨论