Skip to content

Latest commit

 

History

History
21 lines (16 loc) · 858 Bytes

File metadata and controls

21 lines (16 loc) · 858 Bytes

大模型 / Agent 评测记录单

  • 评测编号eval-YYYY-MM-DD-01
  • 目标模型 / 版本gpt-4o-2024-08-06 / claude-3-5-sonnet-20241022
  • 提示词版本 / Commit SHA<git-sha>
  • 评测人@maintainer

基准测试结果

指标维度 基线(Baseline) 候选版本(Candidate) 变化幅度(Delta) 结论
Schema 契约符合率 98.5% 100.0% +1.5% 通过
确定性匹配通过率 84.0% 88.5% +4.5% 通过
平均延迟(P95) 1.42s 1.18s -0.24s 通过
千次请求 Token 成本 $1.20 $0.95 -$0.25 通过

边界与对抗性测试用例

  • 非法畸形 JSON 容错与解析回退完成验证
  • 提示词注入攻击与系统 Prompt 防窃取完成验证
  • 空输出与超时重试机制完成验证