dsh-agent-eval

dsh-agent-eval

DSH 插件：Agent 能力评估框架 — 定义任务、跑 benchmark、评分、跟踪改进。

为什么需要

换了 model？改了 prompt？加了新 skill？怎么知道 Agent 变强了还是变弱了？

本插件提供一个自托管的 eval 框架：定义一组任务 + 预期结果，headless 跑完自动评分，对比前后差异。

工具

| 工具 | 功能 |
|------|------|
| eval_run | 运行一个 eval suite，输出评分报告 |
| eval_compare | 对比两次运行结果，找出回归和改进 |

快速开始

1. 定义 eval 任务

创建 eval/tasks/basic.json：

```json
[
{
"id": "hello-world",
"name": "Create hello world script",
"prompt": "Create a file hello.js that prints 'Hello, World!' to stdout",
"expectedOutcome": { "type": "file_contains", "path": "hello.js", "content": "Hello, World!" },
"tags": ["basic"]
},
{
"id": "fix-bug",
"name": "Fix the add function",
"prompt": "add.js has a bug: it subtracts instead of addi