标签列表
聚合结果
IPC 权重更新支持按 rank 路由，训练同步提速 2.39×
值得精读。这是 vLLM weight transfer 控制面首次支持 rank-local 载荷，设计上刻意不加协议分支、复用既有传输引擎，是低成本高收益的参考实现。建议重点关注 `GPUWorker.update_weights` 的索引公式与文档中"IPC-only"的约束，可结合 SGLang 的 rank-indexed payload 模型对比理解。若团队有 MoE RL 训练场景，可直接作为性能优化模板。
原始 PR · 作者 ShuoleiWang · 合并时间 2026-08-23 01:39
模型加载器支持 checkpoint 坐标稀疏权重更新，RL 同步提速约 7 倍
值得精读。这是一个设计文档化程度很高的 API 型 PR：用 NaN 哨兵 + 进程级替换 torch.Tensor.copy_ 复用原生 load_weights，在不动现有 loader 的前提下打通 checkpoint 坐标与运行时坐标；同时把支持边界（单 copy_ 契约、fail-closed、非事务性、非 O(nnz)）写进 docstring 与 PR body，可作为“为通用机制做有界支持”的范例。若要采纳到生产，建议补充覆盖 loader 内部多次 copy_（如转置、分片后拷贝）的测试，并评估与未来多线程 weight-sync 的互斥。
为 /generate 新增 content_parts 原始多模态输入
值得精读，尤其是评审中 SSRF 问题的发现与修复过程：它示范了「新入口复用时必须继承既有安全配置」的审查要点。建议关注三点：`_check_mm_fields_exclusive` 的互斥设计、`AsyncMultiModalItemTracker` 复用带来的防护一致性、以及 flat `MediaContentPart` schema 相对 RFC 原提案 `multi_modal_data` 的取舍。使用 /generate 做多模态推理的 RL 工程团队应直接采用该字段，并显式配置 `--allowed-media-domains`。