MiniCPM-V 4.6 语言主干新增 LoRA 支持
值得阅读以了解 vLLM 中为多模态模型添加 LoRA 支持的标准流程。但视觉端 LoRA 的完整支持仍需后续 PR,当前方案存在潜在误用风险,建议用户明确指定语言端目标模块。
A high-throughput and memory-efficient inference and serving engine for LLMs
MiniCPM-V 4.6 语言主干新增 LoRA 支持
值得阅读以了解 vLLM 中为多模态模型添加 LoRA 支持的标准流程。但视觉端 LoRA 的完整支持仍需后续 PR,当前方案存在潜在误用风险,建议用户明确指定语言端目标模块。
原始 PR · 作者 Yejing-Lai · 合并时间 2026-06-30 12:13
XPU pass_config.fuse_norm_quant断言修复
该PR是常规的平台适配bug修复,代码量小,逻辑清晰,值得快速合并。对于关注XPU支持的开发者,可以了解平台条件检查的模式。
原始 PR · 作者 sriganesh123 · 合并时间 2026-06-30 12:10
修复 gpt-oss 工具调用时 stop_token_ids 未传播导致崩溃
该 PR 值得精读,特别是协议层参数传播的设计模式:如何从默认参数回退到自定义参数的通用模式。修复虽然简单,但揭示了系统中参数传播的一致性缺陷。对于类似的参数(如 stop、bad_words 等)可参考此模式。
拒绝负值配置参数(max_logprobs 除 -1 外)
建议合并。该 PR 修复了配置验证漏洞,采用社区推荐的标准模式,无副作用。值得作为配置健壮性参考。
修复 FlashInfer MLA Decode 的 DCP 合并中 LSE 基数不匹配
此 PR 虽然改动量小,但修复了一个在特定配置下影响推理精度的时序性关键 bug。推荐所有使用 FlashInfer MLA 并启用 DCP 的用户升级。精读价值中等,主要关注其通过类属性进行后端能力声明的优雅扩展模式。
原始 PR · 作者 peizhang56 · 合并时间 2026-06-30 10:01
修复 ROCm 上 spawn 子进程导入失败
该 PR 改动极小但定位精准,值得快速合入。对于使用 `spawn_new_process_for_each_test` 装饰器的其他测试目录,可检查是否也缺少 `__init__.py` 以防止类似问题。
原始 PR · 作者 peizhang56 · 合并时间 2026-06-30 09:59
LM Eval 8 卡测试从 mi325 迁至 mi300 池
可直接合并。此 PR 为纯基础设施配置调整,变更简单且已获批准。推荐 CI 维护者关注迁移后测试是否在 mi300 池顺利调度。
原始 PR · 作者 tahsintunan · 合并时间 2026-06-30 09:46
Rust 前端添加静态 HTTPS 与 mTLS 支持
值得精读 `tls.rs` 中的 `build_server_builder` 函数,它展示了如何在 Rust 中安全配置 OpenSSL(证书链、私钥验证、mTLS、密码套件)。同时关注 `listener.rs` 中通过 `tls-listener` 透明添加 TLS 层的设计模式,对类似项目有参考价值。讨论中关于 TLS 库选择的决策(OpenSSL vs native-tls vs rustls)值得仔细理解。
参与讨论