执行摘要
添加 logit_scale 参数到 PoolerConfig,支持仿射分数校准,扩展池化器功能。
动机是允许 reranker 和分类模型通过 --pooler-config 产生校准的概率分数,无需自定义模型代码或客户端后处理,支持如 Platt 缩放、温度缩放、分数归一化等用例。引用 PR body:'enabling affine score calibration... without custom model code or client-side postprocessing.'
建议工程师阅读此 PR 以理解池化器校准机制,特别是 logit_bias 和 logit_scale 的应用顺序。关注 docs/models/pooling_models/classify.md 的更新,了解使用示例。对于设计决策,注意 logit_bias 减法的历史和未来重命名计划。
review 中核心讨论包括:1) logit_bias 应为减法而非加法,基于现有模型如 mxbai-rerank 的实现,决定保持减法以避免破坏兼容性;2) logit_scale 是否应包含在 PoolerConfig.compute_hash 中,决定遵循 logit_bias 的现有惯例不包含,因为不影响编译图;3) 文档更新,将章节重命名为 'Affine Score Calibration' 并澄清计算顺序;4) 建议未来弃用 logit_bias 并更名为 logit_mean 和 logit_sigma,但推迟到后续 PR 处理。
参与讨论