A high-throughput and memory-efficient inference and serving engine for LLMs
Mooncake store 新增 retention interval 控制
本 PR 值得精读，特别是 coordinator.py 中 store_mask 的重构思路：复用引擎自身的 reachable_block_mask 而非独立维护一套模板逻辑，降低了维护成本并保证了行为一致。同时，通过参数化 retention_interval 实现了灵活的稀疏化策略。建议阅读者对比旧实现（可通过 git diff 查看），理解从模板到直接调用 manager 的演进。
使 RISC-V 平台支持 oneDNN W8A8 INT8 量化
建议对 RISC-V 部署有兴趣的团队密切测试，并关注 future PR 中的性能改进。设计上值得注意：采用最小化改动原则，仅打开编译门和补充必要的向量类型，而不动调度逻辑。
修复函数调用流式事件 id 为空
值得快速合入，属于明确的字段映射 bugfix，改动小而精准。
在 Rust 前端响应中填充 cached_token_count 字段
值得精读，特别是 TokenUsage 提取和 ApiServerOptions 结构化的模式，有助于后续维护。同时 opt-in 设计体现了对下游使用的谨慎态度。
原始 PR · 作者 yewentao256 · 合并时间 2026-06-11 11:11
移除 Qwen-7B-Chat 相关测试条目
该 PR 是清理性变更，技术价值低，无需精读。可关注关联 PR #45131 了解模型移除的详细动机。
移除 Transformers v4 支持，强制使用 v5
此 PR 值得精读，它展示了如何系统性地移除遗留依赖。关键设计决策是将弃用警告转为硬错误，避免用户忽视。注意 review 中发现的类型提示问题，警示在大型清理中需要全面检查相关常量。
更新 Dockerfile 依赖图 PNG 修复 CI 失败
小型修复 PR，可快速合并。值得关注的是应确保类似预提交钩子失败问题能尽早被发现，建议在 CI 中增加对静态资产同步的自动检查。
移除Rust工具解析器中错误的XML转义解码
值得精读，尤其是理解前端渲染-解析一致性的重要性。该 PR 展示了如何识别和修复因渲染与解析协议不匹配导致的隐蔽数据损坏。设计决策（移除而非修复unescape）经过充分验证。
参与讨论