2026-09-16
新增 Tinker 网关示例启动器、SDK 客户端与网关测试套件
值得精读，但建议带着「契约而非实现」的视角读三处：examples/multi_lora/serve_qwen3_30b_a3b_tinker.py（单节点 8 卡的资源切分与参数分组，是复刻其它模型的模板）、miles/tinker/arguments.py（Tinker 能力边界被写死在这里，扩模型族必看）、tests/fast/tinker/core/test_service.py 与 harness.py（checkpoint 版本化、租户隔离、失败隔离的对外承诺都在这些断言里）。值得关注的设计决策有：把上游 tinker-cookbook 当作 wire contract 的验收标准；用 test_layering.py 以导入图约束 core/runtime/server 分层；sampler 保存走不可变目录并支持 pinned version 解析。注意三点：本 PR 无逐行人工评审（批准来自共同作者），如需信任请自行核对最终 tree；run_id 每次调用生成导致重启后旧 checkpoint 路径不可达，长跑场景务必显式固定；IO 失败终止整个网关的策略是否可接受，建议结合业务 SLA 单独评估。
新增多 LoRA 单槽位检查点，含 Adam 状态与原子版本发布
值得精读，但读法有侧重：
1. **优先看 `miles/backends/training_utils/checkpoint_io.py`**：`publish_dir()` 里「rename 到 `_version_*` → 建相对符号链接 → `os.replace` 顶替公共路径」三步是整个栈崩溃安全性的基石，也解释了为什么必须保留旧版本目录；同时注意 `make_tmp_dir` 的三种拒绝路径（non-overwrite、legacy 目录、崩溃残留）。
2. **再看 `miles/backends/megatron_utils/lora/checkpoint.py`**：`_canonicalize_slot_keys` 与 `load_optimizer` 两条分支（`load_sharded_state` vs `reload_masters`）是「槽位无关 + 槽位本地」两个设计意图的落点，也是评审意见 1/2 的修复位置。
3. **值得追踪的遗留项**：IO 失败隔离 TODO、`_version_*` 回收策略、rank 局部失败的集体错误广播、docstring 与 PR body 关于拓扑约束的口径统一，以及在 TP/PP/EP/MoE 布局下的恢复验证。
4. **可借鉴的设计决策**：「先校验后赋值」的两段式加载、把跨槽不变量固化成 key 归一化、用负向对照（master 舍入到 BF16 / 纯权重重启必须失败）证明测试确实在测正确的东西——这三点在同类持久化改动中都值得复用。
新增 Tinker 每批损失选择、5 种目标函数与 per-datum 输出
建议精读。最值得关注的三处设计决策：(1) `tinker_losses.py` 的「服务端只做 raw sum、归一化交给客户端」模型，以及 `loss_normalizer` 与执行 batch size 解耦的理由；(2) `_sum_loss_and_outputs` 在“无监督 token 的 microbatch”上用 `logits.sum(dtype=torch.float32) * 0` 保持计算图连通的 NaN 防御写法，以及 per-datum 输出 detach 到 CPU 以规避 recompute 重复追加的设计；(3) `forward_only` 复用同一条 loss pass 而不是另起实现，这是消除双实现漂移的关键取舍。阅读时建议同时对照 review 中“零掩码测试无法验证目标函数”与“per_datum 命名空间污染”两条评论，它们分别解释了最终测试矩阵与 `loss.py` 守卫的由来；并把 nanjiangwill 关于 O(KN) 全池同步的评论作为独立待办跟踪。
新增多 LoRA 槽位执行器与每租户独立优化器
建议精读。这是整套 multi-LoRA v2 的地基（1/7），后续 6 个 PR 的损失选择、槽位 checkpoint、快照发布和网关 runtime 都建立在它的命令面与优化器所有权模型上，改动虽然只有 +453/-352，但触及所有 Megatron 训练路径。推荐阅读顺序：先看 megatron_utils/model.py 的抽函数是否严格等价（尤其被丢掉的 no_sync_func 断言），再看 lora/model.py 的 4 个槽位操作函数，最后细读 lora/optimizer.py 的 SlotOptimizer 与 step_slot_optimizers。需要重点确认三个设计决策：(1) 是否接受“pre-collective 失败 = cell 失败”的粗粒度恢复；(2) nonfinite 跳过时直接丢弃梯度是否符合网关的重放语义；(3) 每租户独立优化器的显存增长是否在容量预算内。同时留意 review 点名但未补齐的双槽位/两 rank 回归测试，以及 body 中“无新增测试文件”与实际 diff 的口径差异。
单文件 CI 改从 PR 快照解析标签白名单，解除 /rerun-test 阻塞
值得精读，尤其是需要在 CI 中处理不可信输入的同学。重点看两处设计决策：一是 `_read_snapshot_labels()` 用 AST 字面量解析 + symlink 拒收 + 单次定义校验来“读快照而不 import”，这是 fork PR 场景下读取配置的通用范式；二是 `ci_register.py` 用默认参数注入白名单，把行为变更收敛在 file-run 一条路径上，最小化回归面。阅读时可一并追问三点：(a) 是否补 `tests/ci/test/test_file_run.py` 覆盖 symlink/重复定义/非字面量 dict 的错误分支；(b) cwd 契约是否改为显式传入 `labels_path` 更稳妥；(c) 是否需要在文档或注释里固化 `KNOWN_LABELS` 的写法约定。总体属于低风险、高收益的小修补，可放心合并。
