修复Rust前端指标未使用--served-model-name
值得合并,逻辑简洁、测试充分。设计上选择在构建状态时一次性解析名称,避免运行时检查,值得借鉴。
A high-throughput and memory-efficient inference and serving engine for LLMs
修复Rust前端指标未使用--served-model-name
值得合并,逻辑简洁、测试充分。设计上选择在构建状态时一次性解析名称,避免运行时检查,值得借鉴。
原始 PR · 作者 FAUST-BENCHOU · 合并时间 2026-06-15 15:50
Rust前端支持parallel_tool_calls=false
值得精读,特别是 `structured.rs` 中抑制逻辑的实现方式——在事件流层通过状态机做过滤是一个非常清晰的设计决策。review 过程显示了将功能正确下放到合适抽象层的重要性。此外,PR 展示了一个良好的小功能实现与 review 沟通模式。
原始 PR · 作者 TheEpicDolphin · 合并时间 2026-06-15 15:13
修复 MiMo v2.x 在 TP≠8 时的 QKV 分片及 FP4 支持
此 PR 值得精读,原因如下: 1. **分片算法设计**:`_shard_fp8_qkv_proj` 中处理 fp8 块尺度与 KV 头组交织的约束,采用反量化-重排-再量化的方案,是一个清晰的 trade-off 示例。 2. **量化路由扩展**:在 `Fp8Config` 中通过 `store_dtype` 分流至 `Mxfp4MoEMethod`,展示了如何在现有量化框架上以最小侵入支持混合量化 checkpoint。 3. **评估方法**:作者提供了多个数据集和配置的对比表,值得参考。
为 Rust 前端 Llm 添加 abort() 及请求 ID 映射
值得精读,特别是 `InflightRequests` 的 RAII guard 模式和本地合成中止输出流的实现思路。后续在实现并行采样或跨引擎中止时可以参考此设计。
同步 Rust 与 Python 的 EngineCoreReadyResponse 字段定义
建议团队在涉及跨语言协议定义时,借鉴本 PR 中 Python→Rust 双向键集合断言的测试方法,防止字段版本漂移。值得精读 `python_compat.rs` 的测试夹具设计。
原始 PR · 作者 panpan0000 · 合并时间 2026-06-15 14:12
为 SamplingParams.temperature 增加上界检查
值得合并,这是一个小而正确的 bugfix,解决了前后端验证不一致的问题。变更仅 6 行,逻辑清晰,已通过 reviewer 审核。
在 usage.prompt_tokens_details 中报告多模态 token 计数
值得精读。PR 展示了如何以最小侵入性扩展 OpenAI 兼容 API,重点关注 `_make_prompt_tokens_details` 中 `if not enable_prompt_tokens_details` / `if num_cached_tokens is None and not mm_token_counts` 的短路逻辑,以及 `cast` 安全地处理类型。设计上使用字典替代字段枚举体现了良好的可扩展性。
原始 PR · 作者 xianbaoqian · 合并时间 2026-06-15 13:09
移除废弃模型 XverseForCausalLM
PR 本身简单直接,但可作为清理废弃模型注册表条目的参照模板。值得关注的是 `_PREVIOUSLY_SUPPORTED_MODELS` 机制的设计,它提供了优雅的弃用路径。
参与讨论