1
0
Files
DiAL/openspec/specs/test-output-cleanliness/spec.md

1.7 KiB
Raw Blame History

Test Output Cleanliness

Purpose

确保测试运行时输出干净、无噪音,便于开发者快速定位问题。

Requirements

Requirement: 测试不应产生无关 console 输出

测试运行时,由测试用例预期的容错行为(如 JSON 解析失败、checker rejected触发的 logger 输出 SHALL 在测试代码中被抑制,不污染测试报告。测试 SHALL 优先通过注入 no-op logger 或 memory logger 抑制预期日志,而不是直接覆盖全局 console.warn

Scenario: 容错测试抑制 logger 输出

  • WHEN 测试用例故意注入损坏数据或触发异常以验证系统容错行为
  • THEN 测试 SHALL 注入 no-op logger 或 memory logger并在断言完成后恢复默认测试上下文

Scenario: 非预期 logger 输出不被抑制

  • WHEN 测试用例并非专门测试容错行为
  • THEN 测试 SHALL NOT 抑制 logger 输出,确保意外 warn 或 error 可被观测

Requirement: 探针执行失败日志输出单行消息

ProbeEngine 在捕获 checker rejected 时logger SHALL 输出单行错误消息文本MUST NOT 输出 Error 对象(会导致多行堆栈噪音)。该日志 SHALL 使用 error 等级,并包含 targetId、targetType 和 formatReason() 提取的错误消息。

Scenario: checker rejected 输出单行日志

  • WHEN checker 执行抛出未捕获异常Promise rejected
  • THEN logger SHALL 输出格式为 探针执行失败: <message> 的单行消息,其中 message 使用 formatReason() 提取

Scenario: formatReason 复用

  • WHEN 构建失败日志消息和写入 CheckFailure
  • THEN 两者 SHALL 共用同一个 formatReason 函数提取错误消息