1
0
Files
DiAL/docs/user/checkers/llm.md

3.2 KiB
Raw Blame History

LLM Checker

type: llm 用于大模型服务应用层健康检查。

配置项

字段 说明 必填 默认值
llm.provider 模型提供方:openaiopenai-responsesanthropic
llm.url API base URL
llm.model 模型名称
llm.prompt 单轮 prompt
llm.mode 调用模式:httpstream http
llm.key API key支持 ${VAR} 变量替换 ""
llm.authToken Bearer tokenanthropic providerkey 互斥
llm.headers 附加请求头
llm.ignoreSSL 忽略 HTTPS 证书校验 false
llm.options 生成选项
llm.providerOptions Provider 专属选项

llm.options 支持 maxOutputTokens(默认 16)、temperature(默认 0)、topPtopKpresencePenaltyfrequencyPenaltystopSequencesseed

expect 校验项

字段 说明 必填 默认值
status 可接受的状态码列表,支持精确码和范围(如 "2xx" [200]
headers 响应头校验,使用 KeyedExpectations
output 模型输出校验,使用 ContentExpectations 数组
finishReason finish reason 校验,使用 ValueMatcher
rawFinishReason 原始 finish reason 校验,使用 ValueMatcher
usage Token usage 校验,支持 inputTokensoutputTokenstotalTokens matcher
stream 流式断言,支持 completedfirstTokenMs matchermode: stream
durationMs 完整执行耗时校验,使用 ValueMatcher

示例

- id: "llm-openai-probe"
  name: "OpenAI 健康检查"
  type: llm
  llm:
    provider: openai
    url: "https://api.openai.com/v1"
    model: "gpt-4o-mini"
    prompt: "Say OK"
    key: "${OPENAI_API_KEY}"
  expect:
    status: [200]
    finishReason: "stop"
    output:
      - contains: "OK"