将输出 logprob 处理逻辑从 Sampler 移至 logprob_processor 层
建议仔细审核 `OutputLogprobProcessor` 的 `attach_logprobs_to_output` 与原有 `_attach_logprobs_to_output` 的一致性,以及 `preprocess_fn` 注入逻辑。适合对 logprob 处理感兴趣的开发人员阅读,了解重构模式。
标签列表
聚合结果
将输出 logprob 处理逻辑从 Sampler 移至 logprob_processor 层
建议仔细审核 `OutputLogprobProcessor` 的 `attach_logprobs_to_output` 与原有 `_attach_logprobs_to_output` 的一致性,以及 `preprocess_fn` 注入逻辑。适合对 logprob 处理感兴趣的开发人员阅读,了解重构模式。
修复分块logprob拼接中零logprob行序列计数错误
该PR值得精读,尤其适合关注边界条件处理、分块算法和测试设计的开发者。四个修复点各有巧妙,测试方法(枚举所有组合对比)值得借鉴。建议在review时仔细理解每个修正的动机和实现。
原始 PR · 作者 Qiaolin-Yu · 合并时间 2026-07-18 07:28
提取 InputLogprobProcessor 并迁移 logprob 处理逻辑
推荐阅读该 PR,特别是: - 如何通过依赖注入(`get_logits_fn`)解耦 lm_head 的调用。 - 如何在不改变行为的前提下安全地从大类别中提取职责。 - 机械验证方法(AST 等价性检查)可作为重构的参考实践。