feat: 实现分层架构,包含 domain、service、repository 和 pkg 层
- 新增 domain 层:model、provider、route、stats 实体 - 新增 service 层:models、providers、routing、stats 业务逻辑 - 新增 repository 层:models、providers、stats 数据访问 - 新增 pkg 工具包:errors、logger、validator - 新增中间件:CORS、logging、recovery、request ID - 新增数据库迁移:初始 schema 和索引 - 新增单元测试和集成测试 - 新增规范文档:config-management、database-migration、error-handling、layered-architecture、middleware-system、request-validation、structured-logging、test-coverage - 移除 config 子包和 model_router(已迁移至分层架构)
This commit is contained in:
@@ -1,10 +1,6 @@
|
||||
# OpenAI 协议代理
|
||||
# OpenAI Protocol Proxy
|
||||
|
||||
## Purpose
|
||||
|
||||
TBD - 提供 OpenAI Chat Completions API 的代理功能
|
||||
|
||||
## Requirements
|
||||
## MODIFIED Requirements
|
||||
|
||||
### Requirement: 支持 OpenAI Chat Completions API 端点
|
||||
|
||||
@@ -23,27 +19,7 @@ TBD - 提供 OpenAI Chat Completions API 的代理功能
|
||||
- **THEN** 网关 SHALL 使用 SSE 格式将响应流式返回给应用
|
||||
- **THEN** 网关 SHALL 在流完成时发送 `data: [DONE]`
|
||||
|
||||
### Requirement: 支持 Function Calling
|
||||
|
||||
网关 SHALL 在非流式和流式模式下都支持 OpenAI Function Calling。
|
||||
|
||||
#### Scenario: 非流式函数调用
|
||||
|
||||
- **WHEN** 应用发送包含 `tools` 定义的请求
|
||||
- **AND** 供应商返回包含 `tool_calls` 的响应
|
||||
- **THEN** 网关 SHALL 在响应中原样转发 `tool_calls`
|
||||
|
||||
#### Scenario: 流式函数调用
|
||||
|
||||
- **WHEN** 应用发送包含 `tools` 定义的流式请求
|
||||
- **AND** 供应商在 delta 块中流式返回 `tool_calls`
|
||||
- **THEN** 网关 SHALL 将 `tool_calls` 块流式发送给应用
|
||||
- **THEN** 网关 SHALL 在完成时设置 `finish_reason: "tool_calls"`
|
||||
|
||||
#### Scenario: 工具结果提交
|
||||
|
||||
- **WHEN** 应用发送包含 `role: "tool"` 消息的后续请求,携带函数结果
|
||||
- **THEN** 网关 SHALL 将工具结果原样转发给供应商
|
||||
**变更说明:** handler 通过 service 层调用,而非直接调用 config 和 provider 包。API 接口保持不变。
|
||||
|
||||
### Requirement: 根据模型名称路由请求
|
||||
|
||||
@@ -65,6 +41,8 @@ TBD - 提供 OpenAI Chat Completions API 的代理功能
|
||||
- **WHEN** 请求包含已禁用模型的 `model` 字段
|
||||
- **THEN** 网关 SHALL 返回错误响应,指示模型不可用
|
||||
|
||||
**变更说明:** 路由逻辑从 router 包迁移到 RoutingService,通过 service 层调用。API 接口保持不变。
|
||||
|
||||
### Requirement: 对 OpenAI 兼容供应商透明代理
|
||||
|
||||
网关 SHALL 对 OpenAI 兼容供应商的请求和响应进行透明转发,不做修改。
|
||||
@@ -83,47 +61,38 @@ TBD - 提供 OpenAI Chat Completions API 的代理功能
|
||||
- **THEN** 网关 SHALL 将响应体原样返回给应用
|
||||
- **THEN** 网关 SHALL 保留所有响应头和状态码
|
||||
|
||||
### Requirement: 处理供应商错误
|
||||
**变更说明:** provider client 通过接口注入到 handler,便于测试和替换实现。API 接口保持不变。
|
||||
|
||||
网关 SHALL 将供应商错误透明返回给应用。
|
||||
## ADDED Requirements
|
||||
|
||||
#### Scenario: 供应商返回错误
|
||||
### Requirement: 使用 service 层处理请求
|
||||
|
||||
- **WHEN** 供应商返回错误响应(4xx 或 5xx)
|
||||
- **THEN** 网关 SHALL 将相同的错误响应返回给应用
|
||||
- **THEN** 网关 SHALL 保留错误消息和状态码
|
||||
Handler SHALL 通过 service 层处理业务逻辑。
|
||||
|
||||
#### Scenario: 供应商超时
|
||||
#### Scenario: 调用 routing service
|
||||
|
||||
- **WHEN** 供应商在超时时间内未响应
|
||||
- **THEN** 网关 SHALL 向应用返回超时错误
|
||||
- **WHEN** handler 收到请求
|
||||
- **THEN** SHALL 调用 RoutingService.Route() 获取路由结果
|
||||
- **THEN** SHALL 使用路由结果中的供应商信息
|
||||
|
||||
#### Scenario: 供应商连接失败
|
||||
#### Scenario: 调用 stats service
|
||||
|
||||
- **WHEN** 网关无法连接到供应商
|
||||
- **THEN** 网关 SHALL 向应用返回连接错误
|
||||
- **WHEN** 请求成功完成
|
||||
- **THEN** SHALL 调用 StatsService.Record() 记录统计
|
||||
- **THEN** SHALL 异步记录统计(不阻塞响应)
|
||||
|
||||
### Requirement: 支持标准 OpenAI 请求字段
|
||||
### Requirement: 使用结构化错误处理
|
||||
|
||||
网关 SHALL 支持所有标准 OpenAI Chat Completions API 请求字段。
|
||||
Handler SHALL 使用结构化错误处理。
|
||||
|
||||
#### Scenario: 支持标准字段
|
||||
#### Scenario: 路由错误处理
|
||||
|
||||
- **WHEN** 请求包含标准字段(model, messages, temperature, max_tokens, top_p, frequency_penalty, presence_penalty, stop, n, stream, tools, tool_choice, user)
|
||||
- **THEN** 网关 SHALL 接受并将所有字段转发给供应商
|
||||
- **WHEN** RoutingService 返回错误
|
||||
- **THEN** SHALL 转换为对应的 AppError
|
||||
- **THEN** SHALL 返回统一的错误响应
|
||||
|
||||
### Requirement: 维护流式连接稳定性
|
||||
#### Scenario: 供应商错误处理
|
||||
|
||||
网关 SHALL 维护稳定的流式连接并优雅处理中断。
|
||||
|
||||
#### Scenario: 流中断
|
||||
|
||||
- **WHEN** 供应商流在传输过程中中断
|
||||
- **THEN** 网关 SHALL 优雅关闭客户端连接
|
||||
- **THEN** 网关 SHALL 记录中断日志以便调试
|
||||
|
||||
#### Scenario: 客户端提前断开
|
||||
|
||||
- **WHEN** 客户端在流完成前断开连接
|
||||
- **THEN** 网关 SHALL 取消供应商请求
|
||||
- **THEN** 网关 SHALL 释放相关资源
|
||||
- **WHEN** ProviderClient 返回错误
|
||||
- **THEN** SHALL 包装为 AppError
|
||||
- **THEN** SHALL 包含请求上下文信息
|
||||
|
||||
Reference in New Issue
Block a user