#35002 Support model-defined prefill input embedding width
原始 PR · 作者 merrymercy · 合并时间 2026-08-17 06:08
prefill CUDA graph 支持模型自定义 input_embeds 宽度
值得快速精读,重点看 `getattr` 默认回退与双处宽度统一的设计决策;建议合并后补一个针对 `_input_embeds_hidden_size` 分支的单元测试,并在模型接入文档中明确 `input_embeds_hidden_size` 的语义,避免未来接入方拼错属性名时静默回退。
参与讨论