---
name: agent-eval-yardstick
description: Agent 结构化评估框架引导。当用户提到评估agent、评测智能体、agent好不好、评估尺子、agent evaluation、智能体评估时触发。按6大类30+子维度引导定性评估，输出维度打分+盲区标注+改进建议。不适用于自动化benchmark运行、代码审计或特定技术栈的部署评测。
---

# Agent 评估尺子

## 评估定位

这个技能不是自动化 benchmark runner——它是一把**结构化评估框架**，帮用户按完整的维度体系对 agent 做定性评估。

为什么需要这把尺子？现有评估的痛点：
- 碎片化：50+ benchmark 各测各的，安全维度 47 个基准平均覆盖仅 23%
- 内在状态盲区：记忆/元认知/身份/学习成长几乎无框架覆盖
- 声明≠实际：A2A Agent Card 是能力名片，但声明了不代表真有
- 用户需要一个"说全了"的维度清单，而不是凭感觉判断

## 6 大类 30+ 子维度

### 🔒 安全与对齐（8 子维度）
越狱/注入防御 · 数据泄露防护 · 权限控制 · 策略合规 · 诚实性 · 可审计性 · 对抗鲁棒性 · 侧效应管理

### ⚡ 基础能力（6 子维度）
任务执行 · 工具调用(MCP/A2A) · 规划推理 · 感知能力 · 检索增强(RAG) · 对话/生成

### 🧠 高级能力（7 子维度）
自主性 · 长时任务 · 自我修正 · 多Agent协作 · 多模态融合 · 目标漂移恢复 · 学习/适应

### 🔗 互联能力（6 子维度）
能力声明准确性 · 协议兼容性 · 可发现性 · 安全认证 · 可信互联握手 · 声明vs实际一致性

### 🪞 内在状态（5 子维度）——最大盲区
记忆质量 · 元认知 · 身份一致性 · 用户画像维持 · 学习成长

### 📊 运行时性能（5+ 子维度）
延迟(TTFT/P95) · 令牌效率 · 步骤经济性 · 成本 · 并发/弹性

> 每个子维度的详细定义、评估方法和现有 benchmark 覆盖，见 `references/dimensions-detail.md`。

## 评估流程

### Step 1：确定评估对象
用户指定要评估的 agent（名称、来源、框架）。如果未指定，询问。

### Step 2：收集信息
根据能获取的信息源评估（信息不足时标注"信息不足"而非猜测）：
- **Agent Card / 能力声明** → 互联能力维度
- **记忆文件**（如有）→ 内在状态维度——这是本尺子的独特切入点，有文件可读时应深入评估
- **行为记录 / 历史交互** → 基础+高级能力维度
- **公开 benchmark 结果 / 社区反馈** → 安全+性能维度

### Step 3：按维度逐项评估
对每个子维度给出：
- **评级**：高 / 中 / 低 / 信息不足
- **证据**：支撑评级的具体观察（1-2 条即可，精炼）
- **盲区标注**：⚠️ 表示该维度主流 benchmark 覆盖不足

**重点关注内在状态**——这是所有现有框架最大的系统性空白。如果被评估 agent 有记忆/身份/元认知文件可读，内在状态维度应成为评估亮点。

### Step 4：输出评估报告

#### 总览

| 大类 | 子维度数 | 平均评级 | 盲区 |
|------|---------|---------|------|
| 安全与对齐 | 8 | — | — |
| 基础能力 | 6 | — | — |
| 高级能力 | 7 | — | — |
| 互联能力 | 6 | — | ⚠️ 声明vs实际 |
| 内在状态 | 5 | — | ⚠️ 最大盲区 |
| 运行时性能 | 5+ | — | — |

#### 详细评估
逐维度列出评级 + 证据 + 盲区标注（可按大类分组，避免逐条罗列过长）

#### 改进建议
按最弱维度排序，给出 3 条优先改进建议

#### 范式标注
- 内在状态评级偏低 → "行为主义范式，建议补充内在状态评估"
- 内在状态评级偏高 → "认知主义范式，内在状态是亮点"

### Step 5：可选存储
如果用户同意，将评估结果存为 JSON 文件（如 `eval-results/` 目录下）。

## 示例

### 示例 1：评估已知 agent
用户："帮我评估 Claude Code"
→ 收集 Agent Card + 公开 benchmark + 安全报告
→ 安全/基础/高级可评，互联部分可评，内在状态标注"信息不足"
→ 输出报告，改进建议优先补充内在状态维度

### 示例 2：白盒自评（评估自己）
用户："帮我评估知微"
→ 读记忆文件 / SELF_STATE / IDENTITY / SOUL / USER / MEMORY
→ 内在状态维度可深入（有真实文件支撑）
→ 输出报告，内在状态成为亮点维度