移除 DSV4.1 误移植的 compressor 对齐 padding,token 流对齐 HF 参考
值得精读。该 PR 是“参考实现比对驱动删除”的小而清晰案例:核心看点是 `_apply_token_matches_with_placeholders` 覆写的删除动机——pad 依赖拼接位置导致 prompt updates 无法缓存,删除后不仅 token 流对齐官方,还顺带恢复基类默认路径。对多模态模型接入团队有参考价值:跨模型版本移植预处理逻辑前应逐行比对官方 image_processor.py。建议后续补充一条针对 DSV4.1 图片 token 流 bit-match 的回归测试,并核查 `mm_prefix_span_leading_pad_modulus` 是否还有其他读取方。
参与讨论