#38174 [Feature] Universal speculative decoding for heterogeneous vocabularies (TLI)
原始 PR · 作者 wan-danfeng · 合并时间 2026-07-02 16:34
实现异质词汇表间的通用投机解码 (TLI)
建议重点关注 `vocab_mapping.py` 中的核心算法(空间前缀探测、归一化、交集构建),以及 `speculative.py` 中的配置验证逻辑。对于考虑使用异质草稿模型的团队,此 PR 是关键里程碑。推荐精读源码和测试。
参与讨论