执行摘要
澄清 Gemma 4 辅助模型须用 MTP 路径
用户尝试将 Gemma 4 辅助模型作为通用草稿模型使用,导致初始化失败(Issue#42005)。文档未明确说明 Gemma 4 辅助模型实际走 MTP 路径,造成用户困惑。
建议精读。该 PR 是处理“文档与实现不一致”的标准范例,值得其他特性维护者参考。
无实质审核评论。PR 由维护者 DarkLight1337 批准,自动化工具(Claude、Gemini)无技术反馈。
用户尝试将 Gemma 4 辅助模型作为通用草稿模型使用,导致初始化失败(Issue#42005)。文档未明确说明 Gemma 4 辅助模型实际走 MTP 路径,造成用户困惑。
建议精读。该 PR 是处理“文档与实现不一致”的标准范例,值得其他特性维护者参考。
无实质审核评论。PR 由维护者 DarkLight1337 批准,自动化工具(Claude、Gemini)无技术反馈。
在 docs/features/speculative_decoding/mtp.md 新增小节:标题为“Gemma 4 Assistant Models”,解释 Gemma 4 辅助模型通过 method: mtp 使用,并给出完整命令行示例,明确说明 E2B、E4B、26B-A4B、31B 等模型变体均通过 model_type: gemma4_assistant 映射到内部的 Gemma4MTPModel。
在 docs/features/speculative_decoding/README.md 添加醒目的注意事项:使用 !!! note 提醒读者,Gemma 4 辅助模型不是通用草稿模型,必须使用 method: mtp,并提示看到 method=draft_model 日志时需升级 vLLM 版本。
在 docs/models/supported_models.md 的 Gemma 4 条目添加交叉引用:在已有说明后增加一句话,指向 mtp.md 中的具体示例。
| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
docs/features/speculative_decoding/mtp.md |
文档 | modified | 2.87 |
docs/features/speculative_decoding/README.md |
文档 | modified | 2.2 |
docs/models/supported_models.md |
文档 | modified | 1.63 |
分析完成后,这里会展示 LLM 生成的相对完整源码片段和详细注释。
当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。
纯文档变更,无代码修改,无回归风险。
对用户:消除了 Gemma 4 辅助模型配置时的歧义,减少错误尝试。对系统:无影响。
参与讨论