标签列表
聚合结果
修复 Rust 分词器字节级快速路径解码未定义 token ID 时崩溃及归因错误。
此 PR 是一个高质量的 bugfix，修复了一个实际发生的生产问题。代码修改精准，测试覆盖充分，并附有详尽的 PR 说明。建议相关模块的维护者精读，特别是 `incremental.rs` 中归因逻辑的重构，其设计（仅在非产出步骤进行查询）值得借鉴。该修复对于使用 vLLM Rust 前端和 Qwen 等模型的用户至关重要。
在 Rust 前端解码器中实现 token 归属合约，解耦解码文本与采样元数据的时钟。
此 PR 值得仔细阅读，尤其是其设计决策。它解决了一个在流式解码中普遍但棘手的问题：解码速率与采样速率的异步性。推荐关注以下几点： 1. **`AttributedTextBuffer` 的设计**：如何通过 `PendingAnchor` 机制平衡追踪精度与性能，以及 `take_ready` 如何安全地切分输出块。 2. **时钟分离的实现**：`DecodedTextEvent::TextDelta` 的重构是核心，清晰定义了 `decoded` 和 `sampled` 两个字段的语义边界，值得借鉴。 3. **全面的测试策略**：新增的 `attribution/tests.rs` 提供了一个很好的模板，展示了如何为类似的复杂状态机编写表驱动的、全面的单元测试。 该变更虽然重要（涉及核心路径重构），但风险通过详尽的测试和谨慎的实现得到了很好控制，是架构演进中的一次高质量改进。
将 DSv4 编码器裸断言替换为 ValueError
建议快速查看，改动小而清晰。值得关注的决策是将断言转换为显式异常，并添加了针对性测试，体现了对生产环境稳健性的重视。
修复 DSV4/3.2 词表重复计数引发的引导解码崩溃
值得精读。这是“小改动、深根因”的典型 bugfix：tokenizer 包装类覆写 `__len__` 会静默破坏结构化输出的 grammar bitmask 宽度，而上游库语义变化（transformers 5.x）让曾经的 workaround 从必要变为有害。建议关注两点：一是作者选择整体删除而非修正公式，避免后续再次失配；二是测试被回退的取舍——若能保留一个极简回归测试（构造 id 落在基础词表内的 added token）会更有长期保障。对结构化输出或 DeepSeek 模型维护者，本 PR 是必读的参考案例。
原始 PR · 作者 AndreasKaratzas · 合并时间 2026-07-27 15:49
修复 HF tokenizer 在双格式仓库中错误选择 tokenizer 类
建议精读，这是一个小而精的 bugfix，展示了如何通过调整控制流顺序解决双格式仓库的歧义问题。