APIEval-20

APIEval-20

用于测试 API 的 AI 代理的开放基准

Product screenshot

关于产品

APIEval-20 是 API 测试代理的黑盒基准测试。每个代理仅获取一个 JSON 模式和一个示例负载,然后生成一个测试套件。我们针对带有植入错误的实时参考 API 运行这些测试,并对错误检测、API 覆盖率和效率进行评分。与法学硕士作为法官的评估不同,评分是完全客观的:错误要么被捕获,要么未被捕获。任务涵盖身份验证、错误、分页、模式和多步骤流程。打开抱脸。