修复KV校验测试因Radix缓存去重导致的flaky问题
值得精读PR body中的根因分析,它揭示了`cache_unfinished_req`与`send_kv_chunk`之间的时序竞态如何导致去重后的槽位被错误释放,是理解PD架构中KV传输、Radix缓存和canary验证三者交互的绝佳案例。
标签列表
聚合结果
修复KV校验测试因Radix缓存去重导致的flaky问题
值得精读PR body中的根因分析,它揭示了`cache_unfinished_req`与`send_kv_chunk`之间的时序竞态如何导致去重后的槽位被错误释放,是理解PD架构中KV传输、Radix缓存和canary验证三者交互的绝佳案例。
原始 PR · 作者 ShangmingCai · 合并时间 2026-06-06 00:56
修复 PD 解耦中止时 KV 缓存损坏
该 PR 值得精读,尤其是设计决策:轻量通知 vs 延迟释放。了解 PD 解耦系统中 abort 处理的权衡对相关开发者有帮助。但需注意代码中未处理的消息解析风险。
修复 PD 解耦模式下 bootstrap_room 残留导致的误报
值得合并,修复了 PR #17430 的回归;建议阅读代码中 `_commit_transfer_to_req()` 的 sentinel 逻辑以理解上下文。
原始 PR · 作者 huangtingwei9988 · 合并时间 2026-06-05 15:39
支持 DeepSeek V4 HiSparse 直接 PD 主机传输,TTFT 降 7-9%
此 PR 涉及推理引擎内核、内存池、JIT 编译和远程传输多个模块的联动修改,建议所有参与 SGLang 推理引擎开发的同学精读。尤其是 `DeepSeekV4PagedHostPool` 的布局设计、`transfer_cache_dsv4_mla` 的 JIT 实现、以及 Mooncake 传输的 PP 对齐策略,具有较高的参考价值。
原始 PR · 作者 huangtingwei9988 · 合并时间 2026-06-04 21:37
修复 HiSparse 在 PP decode 路径上的兼容性
建议合并。该 PR 以极小代价修复了一个关键的兼容性缺陷,改动经过严格验证且逻辑清晰。可考虑后续跟进 `process_retract_queue` 中的同类问题。
原始 PR · 作者 huangtingwei9988 · 合并时间 2026-06-04 18:01
修复 PD 模式下 decode 响应中 L3 缓存命中报告的缺失问题
建议快速合并。变更逻辑清晰、改动量小、风险低,且解决了一个实际观测到的监控数据缺失问题。
编码器服务器新增 per-rank 子进程数据并行模式
建议精读。该 PR 引入了复杂的进程间通信和生命周期管理,设计决策(如 ZMQ IPC、worker watchdog、背压控制)值得学习。对于生产部署,建议添加集成测试覆盖故障场景。
原始 PR · 作者 merrymercy · 合并时间 2026-06-04 08:49
ZMQ IPv6 支持、bench_serving 采样参数、日志降级
该 PR 设计清晰,改动范围小但实用。建议关注 IPv6 端点格式的文档补充;bench_serving 参数已添加但未在文档中提及(可后续补充);日志降级属易用性微调。整体可安全合入。