Prhub

#52904 [XPU][CI] downgrade sentencepiece

原始 PR 作者 mayuyuace 合并时间 2026-08-19 17:01 文件变更 1 提交数 1 评论 2 代码增减 +1 / -1

intel-gpu ci/build bugfix

执行摘要

XPU 测试依赖将 sentencepiece 降级至 0.2.1

XPU CI 构建（Buildkite intel-ci #9299）因 InternVL2-2B 的 tokenizer.model 包含 \x00 token 而失败，而新版本 sentencepiece（0.2.2）会拒绝此类文件。相关 issue（google/sentencepiece#1308）指出这是 0.2.2 的破坏性变更，且没有迁移路径。为恢复测试，选择降级至 0.2.1。

该 PR 为常规依赖版本调整，逻辑简单，无需精读。值得留意的是上游 sentencepiece issue 的进展，若后续版本提供兼容选项，可考虑升级。

讨论亮点

review 过程中，claude[bot] 指出 fork 仓库无法自动 review，需维护者手动触发。维护者 jikunshang 直接批准。没有实质性的技术讨论或设计权衡。

实现拆解

该 PR 仅修改一个文件：requirements/test/xpu.txt，将 sentencepiece==0.2.2 改为 sentencepiece==0.2.1。该文件是 XPU 测试依赖清单，改动属于配置降级，未涉及任何源码或测试逻辑变更。此举是为了避免 sentencepiece 0.2.2 的空字节校验导致 InternVL2-2B 的 tokenizer.model 加载失败，从而保证 XPU CI 通过。

文件 模块 状态 重要度
requirements/test/xpu.txt 依赖配置 modified 1.89

分析完成后，这里会展示 LLM 生成的相对完整源码片段和详细注释。

评论区精华

没有提炼出高价值讨论线程

当前评论区没有形成足够清晰的争议点或结论，后续有更多讨论时会体现在这里。

风险与影响

风险较低。主要风险是将依赖版本固定为 0.2.1 可能错过后续修复或安全更新，但仅影响 XPU 测试环境，且与已存在的老版本 tokenizer 兼容。未引入其他逻辑变更，回归风险极小。

影响范围限于 XPU CI 测试环境，修复了 InternVL2-2B 模型加载失败问题，确保 CI 稳定。对用户代码无影响，对生产环境无影响。

依赖版本锁定，存在后续升级风险

关联 Issue

#1308 Breaking change in 0.2.2: rejects loading models with null-byte pieces without migration path

完整报告

Markdown PDF

参与讨论