执行摘要
更新 Kimi K25 部署指南中的启动命令
为了让用户能够正确部署 Kimi K25 模型,需要更新 cookbook 中的启动命令以匹配实际使用的模型权重和硬件支持。
建议快速合并,无需深度精读。主要是文档维护性质,确保命令与最新模型版本和硬件支持对齐。
无相关 review 讨论。
为了让用户能够正确部署 Kimi K25 模型,需要更新 cookbook 中的启动命令以匹配实际使用的模型权重和硬件支持。
建议快速合并,无需深度精读。主要是文档维护性质,确保命令与最新模型版本和硬件支持对齐。
无相关 review 讨论。
docs_new/src/snippets/autoregressive/kimi-k25-deployment.jsx 文件中,修改 speculative decoding 部分的 speculative-draft-model-path 参数值,从 lightseekorg/kimi-k2.5-eagle3 更新为 lightseekorg/kimi-k2.5-eagle3-mla。hardware === 'b300' 时,在命令中添加 --attention-backend tokenspeed_mla 参数。| 文件 | 模块 | 状态 | 重要度 |
|---|---|---|---|
docs_new/src/snippets/autoregressive/kimi-k25-deployment.jsx |
文档 | modified | 5.39 |
docs_new/src/snippets/autoregressive/kimi-k25-deployment.jsx
core-logic
唯一变更文件,更新了 speculative draft 模型路径并新增 Blackwell B300 attention 后端配置。
// 在 KimiK25Deployment 组件的命令构建函数中:
// Speculative decoding (EAGLE3)
if (speculative === 'enabled') {
cmd += ' \\\n --speculative-algorithm EAGLE3' +
' \\\n --speculative-num-steps 3' +
' \\\n --speculative-eagle-topk 1' +
' \\\n --speculative-num-draft-tokens 4' +
// 注意:模型路径已从 lightseekorg/kimi-k2.5-eagle3 更新为带 -mla 后缀的新模型
' \\\n --speculative-draft-model-path lightseekorg/kimi-k2.5-eagle3-mla';
}
// 新增:Blackwell (B300) 专用 tokenspeed MLA attention 后端
// 当用户选择 B300 硬件时,自动追加该参数以启用优化的 attention 实现
if (hardware === 'b300') {
cmd += ' \\\n --attention-backend tokenspeed_mla';
}
当前评论区没有形成足够清晰的争议点或结论,后续有更多讨论时会体现在这里。
该 PR 仅修改文档示例代码中的命令参数,风险极低。但需确保 lightseekorg/kimi-k2.5-eagle3-mla 模型路径和 tokenspeed_mla 后端在对应环境中可用,否则用户可能遇到部署失败。
仅影响访问 cookbook 页面的用户,使其能看到更新后的启动命令。对于使用 Kimi K25 且为 Blackwell B300 硬件的用户提供了正确的 attention 后端配置。
当前没有检测到明确关联的 Issue 链接,后续同步到相关引用后会出现在这里。
参与讨论