radixark/miles · 标签视图

修复桥接模式 MTP 梯度分离缺失，防止辅助损失污染共享权重

值得精读，重点看两点：一是 `getattr` 容错与“训练 flag 集中放置”的模块约定，二是测试文件用 AST 提取生产函数的技巧——它让无法在 CPU 导入的 GPU 模块函数获得回归覆盖，可复用到同类场景。由于 MTP 训练正确性还依赖后续的辅助损失缩放、label-mask 对齐等变更，建议与这些后续 PR 联动阅读。

新增 DeepSeek-V4.1 Flash 训练配方文档并接入导航

值得精读，尤其是 §3.5 的必选 flag 解释与 §3.6 的预期指标表——它们把 colocated 引擎休眠释放 engram 表、全参数 Adam 状态必须落盘这些隐性坑写成了显式约束，是理解 V4.1 训练栈成本结构的最短路径。建议跟进三件事：① 明确 `dsv41_cut_cast.py` 的仓库路径或提供等价工具（回应 issue 评论）；② 确认 docs.json 中 `developer/ci/*` → `ci/*` 的回退是否有意，必要时拆成独立 PR；③ 为文档中的脚本与参数增加轻量可用性检查，避免 cookbook 成为新的答疑入口。

为 Qwen3 异常 EOS 输出行为添加上下文注释，解释为何保留严格检查。

这是一个值得快速浏览的 PR。虽然代码改动微不足道，但其附带的 **上下文信息非常有价值**。对于任何需要修改或理解 TITO 验证器、Qwen3 模板处理或模型输出行为对齐逻辑的工程师，阅读此 PR 及其关联的 Issue #3113 都是必要的。它揭示了在评估生成模型输出时，处理预期行为与实际模型退化之间边界的细微之处。

修复 Nemotron-H Mamba 卷积参数映射缺失，重新启用相关 e2e 测试。

该 PR 是一个重要的兼容性修复，解决了上游依赖变更带来的关键问题。实现方案精准、测试覆盖充分（包括新增的单元测试和重新启用的 e2e 测试），并补充了必要的文档。对于关注模型兼容性或 Nemotron-H 系列的工程师，建议精读其映射逻辑和测试策略。其解决阻塞性问题并恢复 CI 覆盖率的做法，是处理此类上游变更的良好范例。

修复 Nemotron-H 前向兼容性，避免 MTP 禁用时因传递不支持关键字而导致失败。

值得精读。这是一个目标明确、实现干净、测试充分的 bugfix。核心改动虽然不大，但解决了一个关键的运行时错误。建议关注其修复模式：如何通过条件判断和字典操作来适配下游库的参数签名差异，这在集成多个库时是一个常见且有用的技巧。同时，新增的测试用例展示了如何为 monkey-patch 补丁编写有效的单元测试。

修复 Qwen3.8 Anthropic 会话验证测试配置，解除 CI 阻塞。

这是一个小而精确的测试配置修复，旨在解除 CI 阻塞。尽管代码改动极少（仅增加4行），但它解决了一个明确的阻塞性问题，并且讨论中清晰地阐明了每个配置项的作用和必要性。对于关注测试基础设施、会话验证或 Qwen3.8 模型集成的工程师，值得快速浏览以了解配置细节。对于其他开发者，则无需精读。

修复 Inkling 模型原始完成解析，将 token 级别解析权归还会话服务器，消除 TITO 不匹配。

这是一个重要的 bug 修复和架构改进，值得精读。其核心价值在于：1）解决了影响训练数据准确性的实际问题；2）展示了通过钩子机制将模型特定逻辑解耦的优雅设计；3）提供了处理复杂模型协议的完整实现范例（解析、状态维护、模板渲染、测试）。建议重点关注 `InklingResponseParser` 的状态机实现、`TITOTokenizer` 钩子的设计以及模板中 `content_blocks` 的处理逻辑。guapisolo 在评论中提出的架构讨论也极具参考价值。

为 PPO 训练的 bridge 模式增加 critic 模型支持，修复权重加载冲突并更新文档。

此 PR 值得精读。它是一个针对性强的功能增强，解决了 PPO 训练路径中的一个具体限制。其设计亮点在于：1) 通过“值头隐藏机制”（`_hide_critic_value_head_from_hf_load`）优雅地解决了权重加载冲突，该模式可复用于未来类似场景；2) 将 critic 构建逻辑对齐到已有路径（raw/custom），保持了代码一致性。关注点在于该机制的健壮性以及 PPO+Bridge LoRA 组合未经测试的边界条件。对于负责 PPO、模型后端或检查点加载的工程师，理解此次变更及其设计决策尤为有用。