Prhub

verl-project/verl · 标签视图

标签列表

聚合结果

trtllm 相关 PR

2026-05-18
2026-05-12

#6269 [ci] chore: bump trtllm CI image to 1.3.0rc14

原始 PR · 作者 Superjomn · 合并时间 2026-05-12 09:37

基础设施 重要性 4.07 洞察度 2.00

升级 TRT-LLM CI 镜像至 rc14 并清理临时修复

值得阅读以了解 CI 维护的最佳实践:升级基础依赖时同步清理临时修复,并在 reviewer 反馈下恢复测试覆盖。commit 历史展示了如何处理 merge 冲突。

2026-05-08

#6275 [ci] chore: slim down TRT-LLM CI

原始 PR · 作者 Superjomn · 合并时间 2026-05-08 19:34

基础设施 重要性 4.36 洞察度 3.00

精简 TRT-LLM CI,合并测试任务并移除冗余 job

值得快速合并,属于基础 CI 清理工作,无功能性变更。建议后续关注 FSDP + TRT-LLM 的测试覆盖是否需单独补充,以及观察拆分后的单元测试是否仍有稳定性问题。

2026-05-07
基础设施 重要性 3.08 洞察度 2.00

升级 TRTLLM 至 1.3.0rc14 并锁定 mbridge 版本

建议关注 review 中关于移除 `-U` 的建议,并确认在后续 PR 中修复。该 PR 本身改动较小,无需深入精读,但了解依赖管理操作对基础设施维护有参考价值。

功能 重要性 9.02 洞察度 6.00

TRTLLM 异步 RL 完整流程实现

建议精读 `trtllm_async_server.py` 中 abort/resume 实现及 `_resolve_chat_stop_tokens` 函数,理解聊天模型生成结束控制的细节;关注 `trtllm_rollout.py` 中 standalone 设备网格初始化策略;跟踪后续性能优化 PR 以形成完整评估。

缺陷修复 重要性 5.15 洞察度 3.00

修复TRTLLM rollout的Docker镜像和CI脚本兼容性

该PR修复了紧急的兼容性问题,值得合并。但建议合并后: 1. 验证Docker构建是否成功,确认cupy和ray版本可用; 2. 检查batch_wait参数是否在TRTLLM服务端实现,若不生效则考虑移除或提交配套实现; 3. 定期清理mbridge临时补丁。

2026-04-30
基础设施 重要性 3.04 洞察度 2.00

bump trtllm 1.3.0rc13 和 verl v0.7.1

PR 内容简洁明确,值得快速浏览以了解版本升级流程。但审核中提出的 Dockerfile 优化建议(移除冗余安装、合并层)值得在后续类似 PR 中采纳。

2026-04-20
功能 重要性 6.94 洞察度 5.00

为TRT-LLM rollout后端新增跨节点推理支持,并补充测试和CI集成。

建议精读 `trtllm_async_server.py` 中 `get_pgs_and_bundle_indices` 方法的修改,理解跨节点资源分配的逻辑;同时关注新增的集成测试,了解如何在多节点场景下验证TRT-LLM rollout功能。