1
0
Commit Graph

8 Commits

Author SHA1 Message Date
873f09d3bf refactor(scripts): 拆分脚本为 init/ 和 detect/ 子目录,优化 init-llm.sh 2026-04-22 14:57:14 +08:00
44d6af026a feat: 完善流式测试覆盖并精简用例
- 提取共享定义(tool_weather, image_url, json_schema_math)到功能块前
- 流式用例精简为代表子集:核心 6-8 个 + 扩展各 1-2 个 + 高级参数代表
- OpenAI: 15 个流式用例(核心 8 + vision/tools/logprobs/json_schema + 高级参数)
- Anthropic: 11 个流式用例(核心 6 + vision/tools/thinking + 高级参数)
- 更新 README:新增流式测试覆盖原则、parse_sse_events 函数说明
2026-04-21 17:18:35 +08:00
6e11ada42c fix: 添加缺失的 parse_sse_events 函数到 core.py 2026-04-21 15:22:08 +08:00
da790db75b feat: 补充 OpenAI 枚举参数和边界越界测试
- service_tier: 补充 flex, priority 测试
- reasoning_effort: 补充 none, minimal 测试
- verbosity: 补充 medium, high 测试
- 边界越界测试: frequency_penalty, presence_penalty, top_p, n
- core.py: http_stream_request 支持 method 参数
- Anthropic: 补充 content_block_start 事件验证
2026-04-21 14:15:27 +08:00
e1af978c56 feat: 完善 API 兼容性测试用例
- 修复 Anthropic Count Tokens 响应验证器,检查嵌套结构
- 补充 OpenAI service_tier: default 测试
- 补充 Anthropic output_config 带 effort 字段测试
- 补充 OpenAI reasoning_effort: low/high 测试
- 补充 Anthropic service_tier: standard_only 测试
- 修复流式响应 choices 数量验证逻辑,跳过空数组
2026-04-21 14:00:39 +08:00
980875ecf3 feat: 优化兼容性检测脚本
- 重命名脚本为 detect_xxx.py 格式
- 移除所有装饰线,精简输出格式
- 请求/响应输出增加 URL/Headers/入参/响应 标题标记
- 为所有正面用例添加响应验证器
- 补充 OpenAI 版缺失的负面测试(max_tokens 负数/0、temperature 越界)
- 移除未使用的 format_validation_errors 导入
- 新增 scripts/README.md 文档
2026-04-21 12:50:49 +08:00
7f0f831226 feat: 抽取 scripts/core.py 公共模块,重构检测脚本
将 anthropic_detect.py 和 openai_detect.py 中的公共功能抽取到
core.py 模块,包括:
- HTTP 请求(普通/流式)及重试逻辑
- SSL 上下文管理
- 测试用例/结果数据结构 (TestCase, TestResult)
- 错误分类 (ErrorType)
- 响应验证辅助函数 (validate_response_structure 等)
- 测试执行框架 (run_test, run_test_suite)

两个检测脚本重构后更聚焦于各自 API 的测试用例定义。
2026-04-21 11:45:21 +08:00
3fa5827de3 feat: 添加 Anthropic 兼容性检测脚本,OpenAI 脚本增加 --all 参数
- 新增 scripts/anthropic_detect.py,覆盖 Messages/Models/Count Tokens 等 API 的正面与负面测试用例
- OpenAI 脚本新增 --all 快捷 flag 一键开启所有扩展测试
- 更新 .gitignore 补充 Python 常见忽略项
2026-04-20 19:35:47 +08:00