radixark/miles

重构 RPC 客户端重试策略，确保仅重试证明未到达服务器的请求。

这个 PR 值得精读，它展示了一个关键且经过深思熟虑的分布式系统设计决策。关注点在于： 1. **设计哲学**：如何通过错误分类（`NEVER_REACHED_SERVER_ERRORS` vs `RETRYABLE_ERRORS`）来平衡可用性与幂等性。 2. **实现模式**：`retry_until_deadline` 工具如何将重试策略（超时、退避、日志）与业务逻辑（`_submit_attempt`）解耦。 3. **测试方法**：`FlakyProxy` 和 `_HookTransport` 如何模拟复杂网络故障场景，是测试网络容错代码的优秀范例。

为 RPC 同步方法引入并发组机制，实现按组线程隔离和序列化执行。

这个 PR 值得精读，因为它引入了基于并发组的线程隔离机制，设计模式优雅（装饰器声明并发组、执行器按组分配线程池），测试覆盖全面（端到端测试验证序列化、并行、隔离等行为）。对于理解 RPC 服务器的并发控制有重要参考价值。

实现类型化 RPC 客户端句柄，为工作器管理重构奠定基础。

本 PR 是 miles 项目 Rollout 模块基础设施重构的基石，值得精读。它展示了如何为分布式工作器通信设计一个类型安全、关注点分离的客户端抽象。核心设计决策，如使用 `__getattr__` 实现动态代理、在客户端进行本地参数验证、以及清晰的 `RpcCall` 生命周期管理，都具有较高的借鉴价值。但需要注意评论中提到的位置参数兼容性问题，这是一个在采用新句柄时需要关注的 breaking change。建议重点关注 `handle.py` 和 `call.py` 的实现，理解其类型系统集成和错误处理哲学。

实现基于“提交-轮询”模式的工作者远程过程调用（RPC）服务器核心架构。

**该 PR 极具精读价值，建议重点关注。** 1. **架构设计典范**：它展示了一个健壮、可扩展的 RPC 服务器从零构建的全过程。从协议定义（`protocol.py`）、类型安全的序列化（`serialization.py`）、自动化的元数据收集（`metadata.py`），到核心逻辑分层（`core.py`， `executor.py`， `store.py`），再到与 HTTP 框架的集成（`app.py`， `serve_inner.py`），每一层的设计都清晰、职责明确，是学习如何构建类似中间件的绝佳案例。 2. **关键设计决策**： - **提交-轮询模式**：选择这种模式作为基础，牺牲了即时性但获得了可靠性和简单的客户端实现，非常适合工作者任务可能耗时较长的场景。 - **异步后台执行**：使用 `asyncio.create_task` 在后台执行工作者方法，确保了 HTTP 端点的快速响应。 - **基于 TTL 的存储清理**：通过 `first_retrieved_at` 和 TTL 平衡了结果可重用性和内存消耗。 - **自动化 RPC 发现**：通过内省机制自动将工作者类的公共方法暴露为 RPC 端点，减少了样板代码。 3. **质量与测试**：测试覆盖全面且策略得当。单元测试验证核心逻辑（如 `CallStore` 的并发和清理），端到端测试验证完整的用户流程（通过真实进程）。`harness.py` 和 `e2e_worker.py` 为测试此类服务提供了可复用的工具。 4. **演进视角**：结合 review 讨论和后续 PR 列表，可以理解这是一个“先上车再优化”的策略。精读此 PR 能帮助理解后续一系列修复（#1944， #1947， #1948， #1950， #1952）所针对的具体上下文和问题根源。 **建议**：工程师应重点阅读 `RpcServer`， `CallStore`， `RpcCallExecutor` 的实现，以及 `test_store.py` 和端到端测试，以掌握其核心机制和测试方法。技术管理者应关注其作为基础模块的架构清晰度和后续演进计划。

重构结构化日志，将硬编码的“ft”前缀改为调用者指定的标签参数，提升日志语义清晰度。

这是一个高质量的、架构性的重构 PR。它**值得精读**，尤其是对于关注日志、可观测性和 API 设计的工程师。其核心设计决策——将硬编码的领域前缀解耦为由调用者提供的显式标签——是清晰、简洁且可扩展的。变更展示了如何通过修改一个基础函数的签名，并利用测试作为契约，来安全地演进一个广泛使用的内部接口。此变更也为后续在不同模块（如 RPC）中引入类似的日志模式奠定了基础。

将单元格节点探测从串行改为并发，优化多节点初始化的性能瓶颈。

这是一个目标明确、改动干净且测试充分的性能优化 PR，值得工程师精读以学习其并发重构和测试编写模式。值得关注的设计决策在于，它仅优化了最明确的串行瓶颈点（节点探测），而没有过度重构循环内的其他顺序相关逻辑（如端口分配），体现了良好的改动边界控制。考虑到其作为 #1837 重构链的一环，阅读此 PR 有助于理解整体重构的方向和节奏。

将 rollout 引擎启动改为异步非阻塞，提升并发启动能力。

这个 PR 是重构异步启动流程的关键一步，值得精读。它展示了如何将同步阻塞代码转换为异步协程，使用 `asyncio.gather` 实现并发启动。设计决策上，将初始化逻辑从构造函数移到显式异步方法，有助于清晰分离关注点。但需注意 Issue 评论中提到的端口分配阻塞问题，可能在后续 PR 中解决。

将 RolloutServer 的单元标识从数值索引重构为全局唯一字符串 ID，提升可寻址性与日志可读性。

**值得精读**。这是一个有明确架构意图、影响范围广的基础设施重构。它解决了系统中一个长期存在的脆弱性设计（数值索引的不稳定性），并引入了更健壮的标识方案。 **重点关注**： 1. `format_cell_id` 的命名规则及其在启动阶段的赋值逻辑。 2. `RolloutServer` 类中所有方法签名和字典操作的变化，这是变更的核心。 3. `InferenceController` 如何通过 `_server_of` 实现基于字符串 ID 的间接寻址。 4. `_CellHandle` 抽象中 `cell_key` 对 `cell_index` 的替代，这体现了对不同单元格类型统一寻址接口的设计思考。 审核评论中指出的两个待修复问题也值得跟踪，以了解重构可能引入的边缘情况。