radixark/miles · 标签视图

新增多 LoRA 槽位执行器与每租户独立优化器

建议精读。这是整套 multi-LoRA v2 的地基（1/7），后续 6 个 PR 的损失选择、槽位 checkpoint、快照发布和网关 runtime 都建立在它的命令面与优化器所有权模型上，改动虽然只有 +453/-352，但触及所有 Megatron 训练路径。推荐阅读顺序：先看 megatron_utils/model.py 的抽函数是否严格等价（尤其被丢掉的 no_sync_func 断言），再看 lora/model.py 的 4 个槽位操作函数，最后细读 lora/optimizer.py 的 SlotOptimizer 与 step_slot_optimizers。需要重点确认三个设计决策：(1) 是否接受“pre-collective 失败 = cell 失败”的粗粒度恢复；(2) nonfinite 跳过时直接丢弃梯度是否符合网关的重放语义；(3) 每租户独立优化器的显存增长是否在容量预算内。同时留意 review 点名但未补齐的双槽位/两 rank 回归测试，以及 body 中“无新增测试文件”与实际 diff 的口径差异。

删除 multi-LoRA v1 实现，仅保留槽位原语

值得精读，但重点不是 5000 行删除本身，而是删除与保留的边界如何划定：建议先读 `miles/backends/megatron_utils/lora/slots.py`（保留原语的新家，含跨 rank shard 写入者选举与 expert-axis-safe 的 rank 切分）与 `miles/utils/multi_lora.py`（收缩后的公共工具面），再回看 `miles/ray/multi_lora/registry.py`、`backend.py` 被删掉的注册期校验与状态机，逐条确认 v2（#2844 的 `miles/tinker/core/scheduler.py`/`service.py`、#2840 的 slot actor）是否有等价实现。三个最值得关注的设计决策：一是槽位原语与控制面彻底解耦（docstring 里显式声明不掺控制面/数据面逻辑）；二是注册期 fail-fast 校验（data 路径、reward 配置、batch 形状整除）整体消失后由谁承担；三是 per-slot LR 调度与 adapter YAML 契约被删，v2 是否真的不再需要 per-adapter 调度。阅读时注意 head 只有一个 squash commit，MoE 专家路径的恢复要直接核对 head_sha 958e1ca 的文件内容。

纯 SFT train-only 复用 EvalDispatcher 支持 checkpoint 快照评估

值得精读。三个设计决策值得关注：一是“复用现有 EvalDispatcher 而非新增 train-only 专用路径”，避免平行实现漂移；二是把引擎启动决策派生为 args 上的单一字段，删除散落在 sglang_config/specs/controller 里的多处短路，降低不一致风险；三是用“显式校验 + 强制 3 个 eval 点的 e2e”代替静默跳过，任何短路都会让 CI 失败。后续 3 个修复 commit（resume id、final force、router sizing）展示了边界条件的排查思路，可作为同类接入的参考。

为所有 CUDA 测试注册声明支持的 GPU 世代（hopper/blackwell），为后续硬件感知调度铺路。

本 PR 是 CI 基础设施的一次重要重构，虽然不改变运行时行为，但为硬件感知的 CI 调度奠定了坚实的基础。建议精读 `tests/ci/ci_register.py` 中的 `_check_cuda_hardware` 方法和 `tests/ci/hardware.py` 的设计，理解其如何通过架构词汇表、自动调度和严格校验来保证元数据的完整性。该设计值得在类似需要声明资源能力的 CI 系统中借鉴。

修复 Nemotron-H 插件模块作用域导入导致的 CPU CI 失败，恢复延迟导入不变性。

该 PR 值得精读。尽管变更微小（+1/-2 行），但它揭示了重要的工程实践： 1. **依赖管理原则**：展示了在大型代码库中维护延迟导入不变性的重要性，尤其是在有不同运行环境（如 CPU/GPU 镜像）时。 2. **并发合并风险**：PR body 详细解释了两个几乎同时合并的 PR（#3163 和 #3164）如何独立通过 CI 但共同导致失败，这是一个关于 CI 独立性和集成测试覆盖的宝贵教训。 3. **测试策略**：强调了 -x 标志在 CI 中的利弊——它能快速失败，但也可能掩盖后续问题。 对于维护类似插件或桥接模块的开发人员，这个修复是一个直接的参考案例。

为 DeepSeek-V4 注意力栈启用 THD packed-sequence 训练，支持上下文并行。

该 PR 是一个重要的功能增强，为 DeepSeek-V4 模型在 AMD 硬件上启用了高效的 THD 训练路径。建议精读 `miles_plugins/models/deepseek_v4/ops/thd_utils.py` 中的索引辅助函数实现和 `deepseek_v4.py` 中的 THD 前向传播路径，这些是理解 THD 支持的关键。同时关注 indexer replay 兼容性问题的后续修复。该 PR 的测试覆盖全面，包括单元测试、分布式正确性测试和端到端精度对比测试。

新增 Harbor in-process 路径的启动器，并提取共享的沙箱提供商凭证配置逻辑。

此 PR 值得精读。它不仅仅是一个新功能（启动器）的添加，更重要的是它通过重构解决了跨示例的代码重复和配置漂移问题。关键设计决策在于：1) 将提供商配置序列提取为 `provision_provider`，这是一个清晰的、单一职责的公共抽象；2) 创建 `launch_common.py` 作为 Harbor 启动逻辑的共享层，确保配方与测试的一致性；3) 在 `harbor_env_vars` 中实施早期、明确的环境校验和规范化。这些模式（早期校验、共享配置层、行为保持的重构）可以借鉴到仓库中其他示例的维护中。建议关注 `provision_provider` 的实现和它如何简化了 `openenv_launch_common.py`，以及 `harbor_env_vars` 中的环境校验逻辑。

新增进程内 Harbor 代理函数，让 rollout worker 直接在云端沙箱运行 Harbor 试验。

该 PR 值得精读。它引入了重要的新架构路径，并展示了良好的设计模式：将配置构建、试验执行和结果映射职责清晰分离。测试策略（使用 fake 包进行快速迭代，同时用真实包进行契约验证）尤其值得借鉴。核心实现 `harbor_agent_function.py` 的注释详尽，解释了每个决策的权衡（如为什么 `abort` 策略优于 `recover`）。审阅者发现的 `total_tool_time` 缺失和 `HARBOR_AGENT_MAX_ITERATIONS=0` 问题是实际集成中可能出现的真实 bug，具有学习价值。