#2038 [feat] Enable THD packed-sequence training for DeepSeek-V4-Flash, with context parallelism
原始 PR · 作者 JessicaJiang-123 · 合并时间 2026-09-09 13:04
功能
重要性 9.36
洞察度 7.00
为 DeepSeek-V4 注意力栈启用 THD packed-sequence 训练，支持上下文并行。
该 PR 是一个重要的功能增强，为 DeepSeek-V4 模型在 AMD 硬件上启用了高效的 THD 训练路径。建议精读 `miles_plugins/models/deepseek_v4/ops/thd_utils.py` 中的索引辅助函数实现和 `deepseek_v4.py` 中的 THD 前向传播路径，这些是理解 THD 支持的关键。同时关注 indexer replay 兼容性问题的后续修复。该 PR 的测试覆盖全面，包括单元测试、分布式正确性测试和端到端精度对比测试。