在 TokenOutput 中暴露 vLLM prefix-cache 命中统计
该 PR 值得关注,尤其对于使用 vLLM prefix-cache 或需要缓存命中统计的团队。它展示了如何在框架中暴露底层引擎的统计信息,并处理了异步恢复场景的数据一致性。建议结合实际场景评估是否需要在默认 agent loop 中透出该指标。
标签列表
聚合结果
在 TokenOutput 中暴露 vLLM prefix-cache 命中统计
该 PR 值得关注,尤其对于使用 vLLM prefix-cache 或需要缓存命中统计的团队。它展示了如何在框架中暴露底层引擎的统计信息,并处理了异步恢复场景的数据一致性。建议结合实际场景评估是否需要在默认 agent loop 中透出该指标。
多模态处理改异步卸载,提升事件循环响应
该 PR 改动简洁且聚焦,值得精读。关注 run_in_executor 的使用模式以及在异步环境中卸载 CPU 密集任务的设计,可作为类似场景的参考。可结合 #6789 和 #6804 了解完整的多模态处理异步化演进。
为多模态 RoPE 计算新增 processor hook,支持音频等额外参数
值得快速精读,尤其是 `_compute_position_ids` 中 hook 的接入方式。这是一个小而清晰的扩展点设计,适合作为 agent_loop 多模态能力演进的参考;对于后续要接入 Qwen3-Omni 的开发者,建议阅读测试文件了解 hook 的约定。
支持流式数据加载与异步训练器检查点恢复
建议团队精读本 PR,特别是 `_reissue_inflight_prompts`、`_add_batch_to_generate` 和 `ReplayBuffer` 的 drop/refill 实现,是异步训练器检查点恢复的核心。注意 review 中已识别的忙等待和共享引用问题需确认已修复(最终合并版本可能已包含)。
原始 PR · 作者 huaiyizhao · 合并时间 2026-06-17 22:30
将 vision info 处理卸到线程池避免阻塞事件循环
该 PR 思路正确,改动清晰。建议后续补充对 `process_multi_modal_info` 的同类修复以彻底解决问题。PR 值得快速合入。
支持多模态路径占位符
此 PR 设计简洁且测试充分,适合作为多模态数据集扩展的参考实现。值得关注的地方:如何在保留后向兼容的前提下扩展输入类型,以及视频帧列表的路径统一转换策略。
原始 PR · 作者 zengxingchen · 合并时间 2026-06-05 10:54
修复 filter_overlong_prompts 硬编码图像 patch_size 导致的崩溃
值得一读:这是一个典型的多模态数据处理中配置不一致导致的 bug 修复,展现了如何在数据预处理与 rollout 路径间对齐配置。虽然改动很小,但设计上考虑了回退逻辑和显式 `None` 的情况,适合作为类似问题的修复范例。
原始 PR · 作者 0oshowero0 · 合并时间 2026-05-18 08:43
修复同步 Trainer 中 extra_info 合并问题并升级 TransferQueue
值得精读,特别是 `BatchData.concat` 的手动合并策略展示了如何在三方库升级(TQ v0.1.7)后处理兼容性问题。同时可学习清理调试代码和配置扩展的最佳实践。