radixark/miles

新增 LoRA 适配器不可变磁盘快照发布路径

值得精读。三个最值得关注的设计点：一是 joyliu-q 发现的生成器惰性求值 bug 及其修复方式（把循环变量改为函数形参绑定，而非依赖 `itertools.chain` 的求值时机），这是 Python 里极易复现的陷阱；二是 `materialize_adapter` 的集合通信契约——所有 rank 必须走同一路径、只有 writer 产出数据；三是 staged-push 被整体删除后，失败与重试语义转移到了哪里（#2845 的 runtime 与 SGLang on-demand loading），以及删除 `slot_lora_name` 后全仓引用是否已清理。如果所在团队还在用旧的多 LoRA push 行为，需要先确认配置不再显式设置 `update_weights`/`model_path`。

新增多 LoRA 单槽位检查点，含 Adam 状态与原子版本发布

值得精读，但读法有侧重： 1. **优先看 `miles/backends/training_utils/checkpoint_io.py`**：`publish_dir()` 里「rename 到 `_version_*` → 建相对符号链接 → `os.replace` 顶替公共路径」三步是整个栈崩溃安全性的基石，也解释了为什么必须保留旧版本目录；同时注意 `make_tmp_dir` 的三种拒绝路径（non-overwrite、legacy 目录、崩溃残留）。 2. **再看 `miles/backends/megatron_utils/lora/checkpoint.py`**：`_canonicalize_slot_keys` 与 `load_optimizer` 两条分支（`load_sharded_state` vs `reload_masters`）是「槽位无关 + 槽位本地」两个设计意图的落点，也是评审意见 1/2 的修复位置。 3. **值得追踪的遗留项**：IO 失败隔离 TODO、`_version_*` 回收策略、rank 局部失败的集体错误广播、docstring 与 PR body 关于拓扑约束的口径统一，以及在 TP/PP/EP/MoE 布局下的恢复验证。 4. **可借鉴的设计决策**：「先校验后赋值」的两段式加载、把跨槽不变量固化成 key 归一化、用负向对照（master 舍入到 BF16 / 纯权重重启必须失败）证明测试确实在测正确的东西——这三点在同类持久化改动中都值得复用。

新增 Tinker 每批损失选择、5 种目标函数与 per-datum 输出

建议精读。最值得关注的三处设计决策：(1) `tinker_losses.py` 的「服务端只做 raw sum、归一化交给客户端」模型，以及 `loss_normalizer` 与执行 batch size 解耦的理由；(2) `_sum_loss_and_outputs` 在“无监督 token 的 microbatch”上用 `logits.sum(dtype=torch.float32) * 0` 保持计算图连通的 NaN 防御写法，以及 per-datum 输出 detach 到 CPU 以规避 recompute 重复追加的设计；(3) `forward_only` 复用同一条 loss pass 而不是另起实现，这是消除双实现漂移的关键取舍。阅读时建议同时对照 review 中“零掩码测试无法验证目标函数”与“per_datum 命名空间污染”两条评论，它们分别解释了最终测试矩阵与 `loss.py` 守卫的由来；并把 nanjiangwill 关于 O(KN) 全池同步的评论作为独立待办跟踪。

新增多 LoRA 槽位执行器与每租户独立优化器

建议精读。这是整套 multi-LoRA v2 的地基（1/7），后续 6 个 PR 的损失选择、槽位 checkpoint、快照发布和网关 runtime 都建立在它的命令面与优化器所有权模型上，改动虽然只有 +453/-352，但触及所有 Megatron 训练路径。推荐阅读顺序：先看 megatron_utils/model.py 的抽函数是否严格等价（尤其被丢掉的 no_sync_func 断言），再看 lora/model.py 的 4 个槽位操作函数，最后细读 lora/optimizer.py 的 SlotOptimizer 与 step_slot_optimizers。需要重点确认三个设计决策：(1) 是否接受“pre-collective 失败 = cell 失败”的粗粒度恢复；(2) nonfinite 跳过时直接丢弃梯度是否符合网关的重放语义；(3) 每租户独立优化器的显存增长是否在容量预算内。同时留意 review 点名但未补齐的双槽位/两 rank 回归测试，以及 body 中“无新增测试文件”与实际 diff 的口径差异。

删除 multi-LoRA v1 实现，仅保留槽位原语

值得精读，但重点不是 5000 行删除本身，而是删除与保留的边界如何划定：建议先读 `miles/backends/megatron_utils/lora/slots.py`（保留原语的新家，含跨 rank shard 写入者选举与 expert-axis-safe 的 rank 切分）与 `miles/utils/multi_lora.py`（收缩后的公共工具面），再回看 `miles/ray/multi_lora/registry.py`、`backend.py` 被删掉的注册期校验与状态机，逐条确认 v2（#2844 的 `miles/tinker/core/scheduler.py`/`service.py`、#2840 的 slot actor）是否有等价实现。三个最值得关注的设计决策：一是槽位原语与控制面彻底解耦（docstring 里显式声明不掺控制面/数据面逻辑）；二是注册期 fail-fast 校验（data 路径、reward 配置、batch 形状整除）整体消失后由谁承担；三是 per-slot LR 调度与 adapter YAML 契约被删，v2 是否真的不再需要 per-adapter 调度。阅读时注意 head 只有一个 squash commit，MoE 专家路径的恢复要直接核对 head_sha 958e1ca 的文件内容。

单文件 CI 改从 PR 快照解析标签白名单，解除 /rerun-test 阻塞

值得精读，尤其是需要在 CI 中处理不可信输入的同学。重点看两处设计决策：一是 `_read_snapshot_labels()` 用 AST 字面量解析 + symlink 拒收 + 单次定义校验来“读快照而不 import”，这是 fork PR 场景下读取配置的通用范式；二是 `ci_register.py` 用默认参数注入白名单，把行为变更收敛在 file-run 一条路径上，最小化回归面。阅读时可一并追问三点：(a) 是否补 `tests/ci/test/test_file_run.py` 覆盖 symlink/重复定义/非字面量 dict 的错误分支；(b) cwd 契约是否改为显式传入 `labels_path` 更稳妥；(c) 是否需要在文档或注释里固化 `KNOWN_LABELS` 的写法约定。总体属于低风险、高收益的小修补，可放心合并。

纯 SFT train-only 复用 EvalDispatcher 支持 checkpoint 快照评估

值得精读。三个设计决策值得关注：一是“复用现有 EvalDispatcher 而非新增 train-only 专用路径”，避免平行实现漂移；二是把引擎启动决策派生为 args 上的单一字段，删除散落在 sglang_config/specs/controller 里的多处短路，降低不一致风险；三是用“显式校验 + 强制 3 个 eval 点的 e2e”代替静默跳过，任何短路都会让 CI 失败。后续 3 个修复 commit（resume id、final force、router sizing）展示了边界条件的排查思路，可作为同类接入的参考。

镜像补 FlashMLA/cudnn-frontend，DSv4 e2e 切到 cuDNN DSA 后端

建议精读，但重点不在测试文件的一行改动，而在 docker/Dockerfile 中新增的安装块：`--no-deps` 与 `ENABLE_CUDA_13` 门控体现了「镜像依赖决定 CI 能力」的现实约束，是理解本仓库 GPU CI 体系的一个好样本。阅读时重点关注三点：一是 flash_mla wheel 的来源与 torch 版本绑定关系（升级 torch 时需要同步重出 wheel）；二是 5 个 `register_ci_gate` 指标在切换内核后端后是否需要重新标定基线；三是建议后续给 flash_mla 安装补上与其他 wheel 一致的 `ls | grep -q .` 存在性守卫，避免 wheel 缺失时镜像构建直接硬失败。对于只关心业务逻辑的读者，本 PR 可以略过。