调度器侧扁平化 prompt top logprobs 数组,两跳 IPC 省约 30ms
值得精读。三个设计点尤其值得借鉴:(1) 把数据面“组装前移 + 可选字段 + 默认 None”的兼容策略——新字段只对 opt-in 请求非 None,未使用方 wire 不变;(2) 共享校验原语 `build_flat_input_top_logprobs_arrays` 在 scheduler 与 tokenizer 两个进程复用,保证 fallback 语义一致;(3) 提交了 env-gated 的可复现序列化 microbench。需要留意的是 ch-wan 提出的缓存遮蔽与 idx 校验两个未解决的健壮性问题,未来若把 flat 格式扩展到 MIS 或其他请求路径,应先补齐这些防御。
参与讨论