#7442 [Speculative Decoding] Add MTP logprob support for PD disaggregation
作者 Deleter-D · 合并时间 2026-04-17 21:37
功能
重要性 6.50
洞察度 5.00
为PD分离部署下的MTP投机解码新增prefill节点首token的logprob支持。
Speculative Decoding
PD Disaggregation
OP
Feature
该PR值得精读，重点关注以下设计决策： 1. **消息结构体抽取**：将 `msgdata` 和 `batch_msgdata` 抽取到共享头文件，减少了代码重复，但宏命名存在冲突风险，可学习其重构思路。 2. **输出保存逻辑重构**：`save_output_specualate` 函数新增参数以区分prefill和decode节点，体现了PD分离架构下的模块化设计，但需注意数据一致性和参数传递的边界条件。 3. **算子语义设计**：`mtp_save_first_token_with_topk` 算子的实现展示了如何扩展现有功能（添加logprob支持），但 `cur_token_num` 计算与上游语义的冲突揭示了接口设计的重要性。 建议结合review评论，在实际部署前验证非MTP投机方法的兼容性，并补充单元测试。