拒绝负值配置参数(max_logprobs 除 -1 外)
建议合并。该 PR 修复了配置验证漏洞,采用社区推荐的标准模式,无副作用。值得作为配置健壮性参考。
A high-throughput and memory-efficient inference and serving engine for LLMs
拒绝负值配置参数(max_logprobs 除 -1 外)
建议合并。该 PR 修复了配置验证漏洞,采用社区推荐的标准模式,无副作用。值得作为配置健壮性参考。
修复 FlashInfer MLA Decode 的 DCP 合并中 LSE 基数不匹配
此 PR 虽然改动量小,但修复了一个在特定配置下影响推理精度的时序性关键 bug。推荐所有使用 FlashInfer MLA 并启用 DCP 的用户升级。精读价值中等,主要关注其通过类属性进行后端能力声明的优雅扩展模式。
原始 PR · 作者 peizhang56 · 合并时间 2026-06-30 10:01
修复 ROCm 上 spawn 子进程导入失败
该 PR 改动极小但定位精准,值得快速合入。对于使用 `spawn_new_process_for_each_test` 装饰器的其他测试目录,可检查是否也缺少 `__init__.py` 以防止类似问题。
原始 PR · 作者 peizhang56 · 合并时间 2026-06-30 09:59
LM Eval 8 卡测试从 mi325 迁至 mi300 池
可直接合并。此 PR 为纯基础设施配置调整,变更简单且已获批准。推荐 CI 维护者关注迁移后测试是否在 mi300 池顺利调度。
原始 PR · 作者 tahsintunan · 合并时间 2026-06-30 09:46
Rust 前端添加静态 HTTPS 与 mTLS 支持
值得精读 `tls.rs` 中的 `build_server_builder` 函数,它展示了如何在 Rust 中安全配置 OpenSSL(证书链、私钥验证、mTLS、密码套件)。同时关注 `listener.rs` 中通过 `tls-listener` 透明添加 TLS 层的设计模式,对类似项目有参考价值。讨论中关于 TLS 库选择的决策(OpenSSL vs native-tls vs rustls)值得仔细理解。
原始 PR · 作者 gau-nernst · 合并时间 2026-06-30 09:34
优化 CuteDSL KKT 内核,融合逆与后处理
值得精读,尤其是对 Blackwell GPU 上 CuteDSL 内核开发感兴趣的工程师。该 PR 展示了性能 profiling 驱动的优化方法,和计算融合、warp 级流水解耦的设计模式。
修复 thinking_token_budget 在强制结束后的重入问题
值得精读:该 PR 展示了状态机重入问题的典型修复方法,通过引入扫描偏移和状态重置精确控制重入检测。实现简洁但有效,设计决策清晰,代码注释详尽。建议关注 reasoning 相关功能的团队仔细审查并学习。
MultiConnector 合并 kv_transfer_params 字典
值得精读,改动简洁清晰,展示了接口兼容的设计权衡。
参与讨论