PaddlePaddle/FastDeploy · 标签视图

修复投机解码重复惩罚核函数越界访问，并将默认验证策略改为target_match。

该PR值得精读，特别是CUDA核函数修复部分，展示了在并行计算中处理边界条件的常见陷阱。关注点：1. `update_repeat_times`核函数中循环上界从`length_id`到`cur_len[bi]`的变更逻辑；2. 默认配置变更的设计决策，反映了项目对常用功能的优化。建议结合review评论，补充相关测试和文档更新。

修复 Iluvatar 后端 MoE 层接口签名不一致问题并更新安装文档。

该 PR 值得快速浏览，重点关注 MoE 层接口对齐的设计决策，了解如何通过添加可选参数来保持向后兼容性；同时可参考文档更新模式，学习如何同步维护中英文技术文档。

修复异步RL权重更新流程中控制请求的竞态超时问题。

该PR值得精读，因为它展示了一个典型的竞态条件修复案例：通过调整异步操作顺序来消除时序问题。关注点在于 `run_control_method` 中响应通道注册与请求发送的顺序调整，这是分布式系统中控制流设计的常见模式。

修复投机解码场景下调度器token预算计算错误，避免显存OOM。

该PR值得精读，重点关注调度器预算计算的设计权衡：为何选择预减而非逐请求扣减？临时下限512的选取依据是什么？建议结合review讨论思考更优方案。

修复DeepSeekV3模型中deep_gemm导入路径，统一使用FastDeploy内置实现。

该PR变更简单直接，适合快速浏览以了解导入规范。值得关注的设计决策是统一使用项目内置工具类（fp8_utils）管理外部依赖，这种模式可推广到其他模型。

修复 XPU model runner 在开启 attention store 时重复创建 KV cache 的问题。

该 PR 值得精读，特别是对于关注 XPU 平台优化和 KV cache 管理的工程师。关键设计决策在于将条件逻辑从单一检查扩展为多条件组合，这反映了对 cache 管理策略的细化，值得学习其与 GPU/Metax 实现对齐的思路。

修正拼写错误并添加clear_graph_opt_backend方法到glm4_mtp模型。

该PR值得快速浏览以了解拼写修正和模型方法扩展，但无需深入分析设计决策；关注点在于代码一致性和测试更新。

修复 ErnieX1 工具调用解析器在流式场景中的空参数判断和结束标记处理问题。

建议精读此 PR，关注其如何通过精确的类型判断（None vs. 真值）和流式结束处理（使用 `rindex` 而非固定字符串）解决边界条件问题，可作为处理类似解析场景的参考设计。