修复 TRT-LLM 测试用例的模型路径硬编码问题
可直接合并。无需额外精读,但可作为 CI 测试配置和测试环境变量使用的参考。
标签列表
聚合结果
修复 TRT-LLM 测试用例的模型路径硬编码问题
可直接合并。无需额外精读,但可作为 CI 测试配置和测试环境变量使用的参考。
升级 TRT-LLM CI 镜像至 rc14 并清理临时修复
值得阅读以了解 CI 维护的最佳实践:升级基础依赖时同步清理临时修复,并在 reviewer 反馈下恢复测试覆盖。commit 历史展示了如何处理 merge 冲突。
精简 TRT-LLM CI,合并测试任务并移除冗余 job
值得快速合并,属于基础 CI 清理工作,无功能性变更。建议后续关注 FSDP + TRT-LLM 的测试覆盖是否需单独补充,以及观察拆分后的单元测试是否仍有稳定性问题。
升级 TRTLLM 至 1.3.0rc14 并锁定 mbridge 版本
建议关注 review 中关于移除 `-U` 的建议,并确认在后续 PR 中修复。该 PR 本身改动较小,无需深入精读,但了解依赖管理操作对基础设施维护有参考价值。
TRTLLM 异步 RL 完整流程实现
建议精读 `trtllm_async_server.py` 中 abort/resume 实现及 `_resolve_chat_stop_tokens` 函数,理解聊天模型生成结束控制的细节;关注 `trtllm_rollout.py` 中 standalone 设备网格初始化策略;跟踪后续性能优化 PR 以形成完整评估。
修复TRTLLM rollout的Docker镜像和CI脚本兼容性
该PR修复了紧急的兼容性问题,值得合并。但建议合并后: 1. 验证Docker构建是否成功,确认cupy和ray版本可用; 2. 检查batch_wait参数是否在TRTLLM服务端实现,若不生效则考虑移除或提交配套实现; 3. 定期清理mbridge临时补丁。
bump trtllm 1.3.0rc13 和 verl v0.7.1
PR 内容简洁明确,值得快速浏览以了解版本升级流程。但审核中提出的 Dockerfile 优化建议(移除冗余安装、合并层)值得在后续类似 PR 中采纳。
为TRT-LLM rollout后端新增跨节点推理支持,并补充测试和CI集成。
建议精读 `trtllm_async_server.py` 中 `get_pgs_and_bundle_indices` 方法的修改,理解跨节点资源分配的逻辑;同时关注新增的集成测试,了解如何在多节点场景下验证TRT-LLM rollout功能。