#47755 [Bug] Fix tmp directory for `lm_eval`
原始 PR · 作者 yewentao256 · 合并时间 2026-07-08 00:40
修复 GSM8K 评测硬编码 /tmp 权限问题
该 PR 变更简单清晰,风险低,建议快速合并。可关注类似硬编码路径问题是否存在于其他评测配置中。
A high-throughput and memory-efficient inference and serving engine for LLMs
原始 PR · 作者 yewentao256 · 合并时间 2026-07-08 00:40
修复 GSM8K 评测硬编码 /tmp 权限问题
该 PR 变更简单清晰,风险低,建议快速合并。可关注类似硬编码路径问题是否存在于其他评测配置中。
修复 LoRA 槽位重分配导致 punica 元数据过期
值得精读的设计决策:通过额外字段扩展现有 memo,而非完全移除优化。该模式可在类似缓存失效场景复用。
AGENTS.md 新增 AI 代理测试编写指南
建议阅读此 PR,它展示了如何有效设计 AI 代理指导文档,平衡详细性和简洁性,并体现了如何通过 review 迭代优化内容。
原始 PR · 作者 zhenwei-intel · 合并时间 2026-07-07 22:54
修复 XPU Event 不支持 blocking 参数
该 PR 值得合并,修复简单直接。建议后续跟踪上游是否会在 XPU 上支持 `blocking` 参数,届时可移除该 workaround。
原始 PR · 作者 eldarkurtic · 合并时间 2026-07-07 22:24
为 DFlash 推测解码器启用 SWA 因果掩码
该 PR 改动短小精悍,但修复了重要的训练推理一致性问题,值得所有使用 DFlash 推测解码器的用户关注。建议关注 DSpark 是否需要同步修复,并补充测试覆盖。
确立层级自有的 KV 事件归属与聚合契约
建议阅读此 PR 以理解 KV offloading 事件设计哲学,特别是 `take_events()` 的聚合模式。若维护自定义次级层级管理器,需关注 `SecondaryTierManager.take_events()` 默认实现并准备覆盖。对于依赖事件日志的团队,应验证 CPU eviction 顺序测试确保监控正确性。
修复 PD 分离下 GDN 状态被错误覆盖的准确率 bug
值得精读。该 PR 展示了如何在复杂的推测解码 + PD 分离场景下识别并修复状态机错误。两种修复方案的权衡(调度器 vs. kernel)值得学习。同时展示了通过收紧判断条件而非禁用优化来解决问题的方法。
对象存储二级 tier 支持工作负载身份认证
值得精读,尤其是 `to_nixl_params()` 通过条件序列化兼容 AWS SDK 默认链的设计简洁且可复用。review 中关于凭证安全(`repr=False`)的讨论也值得关注。
参与讨论