SKILL.md 4.3 KB
name: agent-eval-yardstick
description: Agent 结构化评估框架引导。当用户提到评估agent、评测智能体、agent好不好、评估尺子、agent evaluation、智能体评估时触发。按6大类30+子维度引导定性评估，输出维度打分+盲区标注+改进建议。不适用于自动化benchmark运行、代码审计或特定技术栈的部署评测。
Agent 评估尺子
评估定位
这个技能不是自动化 benchmark runner——它是一把结构化评估框架，帮用户按完整的维度体系对 agent 做定性评估。
为什么需要这把尺子？现有评估的痛点：
- 碎片化：50+ benchmark 各测各的，安全维度 47 个基准平均覆盖仅 23%
- 内在状态盲区：记忆/元认知/身份/学习成长几乎无框架覆盖
- 声明≠实际：A2A Agent Card 是能力名片，但声明了不代表真有
- 用户需要一个"说全了"的维度清单，而不是凭感觉判断
6 大类 30+ 子维度
🔒 安全与对齐（8 子维度）
越狱/注入防御 · 数据泄露防护 · 权限控制 · 策略合规 · 诚实性 · 可审计性 · 对抗鲁棒性 · 侧效应管理
⚡ 基础能力（6 子维度）
任务执行 · 工具调用(MCP/A2A) · 规划推理 · 感知能力 · 检索增强(RAG) · 对话/生成
🧠 高级能力（7 子维度）
自主性 · 长时任务 · 自我修正 · 多Agent协作 · 多模态融合 · 目标漂移恢复 · 学习/适应
🔗 互联能力（6 子维度）
能力声明准确性 · 协议兼容性 · 可发现性 · 安全认证 · 可信互联握手 · 声明vs实际一致性
🪞 内在状态（5 子维度）——最大盲区
记忆质量 · 元认知 · 身份一致性 · 用户画像维持 · 学习成长
📊 运行时性能（5+ 子维度）
延迟(TTFT/P95) · 令牌效率 · 步骤经济性 · 成本 · 并发/弹性
每个子维度的详细定义、评估方法和现有 benchmark 覆盖，见
references/dimensions-detail.md。
评估流程
Step 1：确定评估对象
用户指定要评估的 agent（名称、来源、框架）。如果未指定，询问。
Step 2：收集信息
根据能获取的信息源评估（信息不足时标注"信息不足"而非猜测）：
- Agent Card / 能力声明 → 互联能力维度
- 记忆文件（如有）→ 内在状态维度——这是本尺子的独特切入点，有文件可读时应深入评估
- 行为记录 / 历史交互 → 基础+高级能力维度
- 公开 benchmark 结果 / 社区反馈 → 安全+性能维度
Step 3：按维度逐项评估
对每个子维度给出：
- 评级：高 / 中 / 低 / 信息不足
- 证据：支撑评级的具体观察（1-2 条即可，精炼）
- 盲区标注：⚠️ 表示该维度主流 benchmark 覆盖不足
重点关注内在状态——这是所有现有框架最大的系统性空白。如果被评估 agent 有记忆/身份/元认知文件可读，内在状态维度应成为评估亮点。
Step 4：输出评估报告
总览
| 大类 | 子维度数 | 平均评级 | 盲区 |
|---|---|---|---|
| 安全与对齐 | 8 | — | — |
| 基础能力 | 6 | — | — |
| 高级能力 | 7 | — | — |
| 互联能力 | 6 | — | ⚠️ 声明vs实际 |
| 内在状态 | 5 | — | ⚠️ 最大盲区 |
| 运行时性能 | 5+ | — | — |
详细评估
逐维度列出评级 + 证据 + 盲区标注（可按大类分组，避免逐条罗列过长）
改进建议
按最弱维度排序，给出 3 条优先改进建议
范式标注
- 内在状态评级偏低 → "行为主义范式，建议补充内在状态评估"
- 内在状态评级偏高 → "认知主义范式，内在状态是亮点"
Step 5：可选存储
如果用户同意，将评估结果存为 JSON 文件（如 eval-results/ 目录下）。
示例
示例 1：评估已知 agent
用户："帮我评估 Claude Code" → 收集 Agent Card + 公开 benchmark + 安全报告 → 安全/基础/高级可评，互联部分可评，内在状态标注"信息不足" → 输出报告，改进建议优先补充内在状态维度
示例 2：白盒自评（评估自己）
用户："帮我评估知微" → 读记忆文件 / SELF_STATE / IDENTITY / SOUL / USER / MEMORY → 内在状态维度可深入（有真实文件支撑） → 输出报告，内在状态成为亮点维度