PaddlePaddle/FastDeploy · 标签视图

修复 XPU model runner 在开启 attention store 时重复创建 KV cache 的问题。

该 PR 值得精读，特别是对于关注 XPU 平台优化和 KV cache 管理的工程师。关键设计决策在于将条件逻辑从单一检查扩展为多条件组合，这反映了对 cache 管理策略的细化，值得学习其与 GPU/Metax 实现对齐的思路。

在XPU平台统一推测解码和非推测解码分支，新增草稿令牌验证算子。

该PR值得精读，重点关注sampler逻辑拆分、gather_next_token接口统一以及verify_draft_tokens算子的设计，这些决策体现了跨平台架构对齐和模块化设计。

将 XPU 平台的 block_attn 算子拆分为可独立控制的 spliced 版本，提升优化灵活性。

建议技术管理者关注此 PR 的设计决策：如何通过环境变量实现渐进式优化，以及兼容性处理策略。工程师可精读 `block_attn_spliced.cc` 了解 spliced 算子拆分逻辑，并参考 `test_block_attn.py` 学习数值验证方法，同时注意 review 中提到的 bug 和依赖风险。

为 XPU 平台新增投机解码草稿令牌验证算子，支持三种验证策略。

建议精读此 PR，重点关注 XPU kernel 的实现细节（如验证策略逻辑和随机数处理），以及设计权衡（如线程安全修复）。对于从事投机解码或跨平台优化的工程师，此 PR 展示了硬件特定算子的集成模式，值得学习。

为XPU平台添加GLM-4.5-air模型支持，优化MoE算子和RoPE实现。

建议技术管理者和工程师精读此PR，重点关注fused_noaux_tc算子的breaking change处理、RoPE优化设计以及版本稳定性权衡。工程师应检查下游依赖是否适配，并考虑采纳版本具体化建议以降低风险。

重构 XPU get_padding_offset 为单内核实现，对齐 GPU 并优化性能。

建议技术管理者关注此 PR 的边界检查设计，工程师可精读内核合并的实现细节，特别是 shared memory 使用和同步策略，以了解 XPU 算子优化模式。

修复XPU CI依赖版本问题，将XTDK从latest固定为3.6.2.1。

该PR变更简单直接，适合快速了解CI版本管理最佳实践。值得关注的点是：在CI脚本中避免使用'latest'等不确定版本是基础设施维护的常见模式。

更新XPU部署文档中的RDMA网卡配置和术语，并调整相关脚本输出格式。

建议技术管理者优先审查脚本输出兼容性风险，确保CI测试适配新格式；工程师可精读文档变更以了解XPU部署最佳实践，但无需深入代码逻辑。关注review中未解决的配置通用性问题，未来文档更新应考虑使用占位符提高可移植性。