#54659 [Frontend] Expose multimodal metadata for disaggregated prefill
原始 PR · 作者 zhouyou9505 · 合并时间 2026-09-06 22:46
为 Disaggregated Prefill 暴露轻量级多模态元数据,优化跨节点负载。
该 PR 值得精读,特别是其实现设计:1) 巧妙地利用了现有 `keep_on_cpu` 字段属性来动态划分元数据;2) 通过模型验证器强制执行了“元数据请求必须伴随 EC 参数”的核心约束;3) 向后兼容性设计周全。建议重点关注 `mm_features.py` 中的合并逻辑和 `protocol.py` 中的验证器设计。同时,如讨论中提到的,后续应推动端到端测试的建立,以完全验证此功能在复杂协调场景下的有效性。
参与讨论