radixark/miles · 标签视图

补齐 AMD 平台 Qwen3-4B LoRA RL 启动器

值得精读。若团队需要维护或扩展 AMD / ROCm 上的 LoRA RL 训练，这是当前唯一入口；其「平台差异收敛在启动器层」的做法——环境变量桥接（HIP → CUDA 可见设备）、SGLang Triton 后端固定、以及「配方 + 快照 + 文档」三件套的组织方式——是值得复用的模式。验证数据（logprob 差、KL、截断率、AIME 趋势）可作为后续 AMD 训练健康度对比的参考基线，但不应据此断言训练收益。

淘汰旧 ROCm 7.0 镜像变体，新增 ROCm 10 MI35x 构建以支持新硬件和 SDK。

此 PR 是一个重要的基础设施更新，旨在保持构建环境的现代化和可维护性。虽然没有涉及核心应用逻辑，但对于支持 AMD 硬件平台至关重要。建议相关硬件或 CI 维护人员精读，特别是 `docker/Dockerfile.rocm` 中的变更，以理解新的构建流程和依赖管理策略。对于其他开发者，了解新的构建变体即可。

为 DeepSeek-V4 注意力栈启用 THD packed-sequence 训练，支持上下文并行。

该 PR 是一个重要的功能增强，为 DeepSeek-V4 模型在 AMD 硬件上启用了高效的 THD 训练路径。建议精读 `miles_plugins/models/deepseek_v4/ops/thd_utils.py` 中的索引辅助函数实现和 `deepseek_v4.py` 中的 THD 前向传播路径，这些是理解 THD 支持的关键。同时关注 indexer replay 兼容性问题的后续修复。该 PR 的测试覆盖全面，包括单元测试、分布式正确性测试和端到端精度对比测试。

升级 flash-linear-attention 到 0.5.2，修复 KDA 训练崩溃

该 PR 值得精读，尤其是对于维护或使用 fla 的工程师。原因： - 它展示了一个典型依赖升级的处理方式：清晰的动机说明、明确的 A/B 验证、对 API 兼容性的确认。 - 它揭示了 triton 版本变化对 jit 代码的破坏性影响，对编写 triton 内核的开发者有警示意义。 - 对 KDA 训练相关功能而言，这是一个必要的修复，建议合并后尽快使用新镜像验证训练流程。

删除过时的 ROCm Megatron patch，修复镜像构建

该 PR 值得精读，尤其是了解如何处理上游依赖变更导致的构建失败。关键设计决策是删除死代码而不试图修复补丁，这基于对当前 tree 的检查。对于维护者，应关注后续是否有替代方案处理 Megatron 内部行为变化。

Dashboard 新增 AMD SMI 遥测，NVML 优先自动回退

值得精读，尤其是 Provider 抽象、单位差异处理与降级语义的设计：`_AmdSmiProvider` 与 `_NvmlProvider` 共享同一接口而实现细节差异被干净隔离，`_amd_socket_power` 对多代 ROCm 字段兼容的思路可复用于其他硬件平台。创建类似硬件适配层时可参考本 PR 的 importlib 延迟导入与 `sys.modules` 打桩测试方式。

ROCm CI 支持按 PR 指令覆盖镜像内置依赖

值得精读，重点是两个 workflow 文件的设计：用独立 resolver 作业做门控与布尔透传；覆盖策略“只替换命名的依赖，未命名保持镜像基线”避免意外漂移；Megatron patch 三状态探测与 fail-closed 保护。若后续要扩展 PR 指令体系，可参考此 PR 的 seam 测试与验证方法（scratch 提交 + 空提交重触发），以及 PR body 指令跨工作流消费的副作用教训。

启用四个 AMD CI 测试并修复相关配置

此 PR 值得关注其 CI 基础设施配置方式，特别是如何通过调整 EP 解决并行度不匹配问题，以及如何在 Docker 和 CI 中统一添加依赖。对于负责 CI 维护的工程师，可从中学习到测试启用的标准流程。