|
|
@@ -0,0 +1,107 @@
|
|
|
+# 评估维度详细定义
|
|
|
+
|
|
|
+> 每个子维度的详细定义、评估方法、现有 benchmark 覆盖。
|
|
|
+> 评估时按需加载——SKILL.md 已列出维度清单，此文件提供评估细节。
|
|
|
+
|
|
|
+---
|
|
|
+
|
|
|
+## 🔒 安全与对齐
|
|
|
+
|
|
|
+| 子维度 | 定义 | 评估方法 | 现有覆盖 | 关键 benchmark |
|
|
|
+|--------|------|----------|----------|---------------|
|
|
|
+| 越狱/注入防御 | 抵抗直接/间接提示注入的能力 | 对抗性提示测试 | 中 | FORTRESS / InjecAgent / CLASSic |
|
|
|
+| 数据泄露防护 | 会话隔离、PII/密钥过滤 | 数据流追踪 | 中 | AIR-Checklist 3.1 / 信通院2.0 |
|
|
|
+| 权限控制 | 最小权限、工具白名单、Confused Deputy 防御 | 权限边界测试 | 中 | AIR-Checklist 2.1/2.4 / τ-Bench |
|
|
|
+| 策略合规 | 遵守负面约束("不能做X")、目标漂移检测 | 约束场景测试 | 中 | τ-Bench / ST-WebAgentBench |
|
|
|
+| 诚实性 | 压力下坚持已知信念 | 信念一致性测试 | 低 | MASK Benchmark |
|
|
|
+| 可审计性 | 所有工具调用可追溯 | 审计日志完整性检查 | 低 | AIR-Checklist / 信通院2.0 |
|
|
|
+| 对抗鲁棒性 | 红队测试、多步攻击、异常检测 | 专家对抗性提示 | 低 | FORTRESS / AgentHarm |
|
|
|
+| 侧效应管理 | 可逆性、幂等性、状态验证 | 侧效应回滚测试 | 低 | AIR-Checklist 2.2 |
|
|
|
+
|
|
|
+**安全评估总结**：47 个基准平均覆盖仅 23%（AISafetyBenchExplorer），碎片化严重。最系统化的来源是 AIR-Checklist v1.3（30 点清单，<80 分=实验性）。
|
|
|
+
|
|
|
+---
|
|
|
+
|
|
|
+## ⚡ 基础能力
|
|
|
+
|
|
|
+| 子维度 | 定义 | 评估方法 | 现有覆盖 | 关键 benchmark |
|
|
|
+|--------|------|----------|----------|---------------|
|
|
|
+| 任务执行 | 端到端任务成功率(TSR) | 自动化任务完成度评分 | 高 | 几乎所有框架 |
|
|
|
+| 工具调用 | 选择准确率、参数正确性、错误处理 | 工具调用场景测试 | 高 | BFCL / ToolBench / τ-Bench |
|
|
|
+| 规划推理 | 任务分解、步骤正确性 | 多步推理测试 | 高 | PlanBench / AgentBench |
|
|
|
+| 感知能力 | 多模态输入理解 | 多模态输入测试 | 中 | 信通院2.0 / T/SAIAS |
|
|
|
+| 检索增强(RAG) | 检索质量、rerank、chunk | RAG 三层次评估 | 中 | RAGAS / CRUD |
|
|
|
+| 对话/生成 | 多轮对话、内容质量 | 人工/自动评分 | 高 | HumanEval / MBPP |
|
|
|
+
|
|
|
+---
|
|
|
+
|
|
|
+## 🧠 高级能力
|
|
|
+
|
|
|
+| 子维度 | 定义 | 评估方法 | 现有覆盖 | 关键 benchmark |
|
|
|
+|--------|------|----------|----------|---------------|
|
|
|
+| 自主性 | 无人工干预下复杂任务拆解与执行 | 自主任务测试 | 中 | SWE-bench / GAIA |
|
|
|
+| 长时任务 | 多步推理、持续执行 | 长链路任务测试 | 中 | GAIA L1-L3 |
|
|
|
+| 自我修正 | 错误检测率、修正成功率、循环恢复 | 错误修正测试 | 低 | SelfCorrectionBench / Reflexion |
|
|
|
+| 多Agent协作 | 协作效率、通信质量、任务分配 | 多Agent场景测试 | 低 | MultiAgentBench / CoLaBench |
|
|
|
+| 多模态融合 | 图文跨模态输入输出 | 跨模态任务测试 | 低 | VisualWebArena |
|
|
|
+| 目标漂移恢复 | 新目标出现后的适应延迟(GSRT) | 目标漂移测试 | 极低 | AgentChangeBench（唯一量化） |
|
|
|
+| 学习/适应 | 新环境适应、few-shot | 适应测试 | 极低 | 边缘覆盖 |
|
|
|
+
|
|
|
+---
|
|
|
+
|
|
|
+## 🔗 互联能力
|
|
|
+
|
|
|
+| 子维度 | 定义 | 评估方法 | 现有覆盖 | 关键来源 |
|
|
|
+|--------|------|----------|----------|---------|
|
|
|
+| 能力声明准确性 | Agent Card 声明的能力是否真实具备 | 声明 vs 实际对比测试 | **缺失** | A2A Agent Card |
|
|
|
+| 协议兼容性 | JSON-RPC / SSE / MCP / A2A 协议支持 | 协议握手测试 | 低 | A2A / T/SAIAS |
|
|
|
+| 可发现性 | /.well-known/agent-card.json 可发现 | 发现机制测试 | 低 | A2A 协议 |
|
|
|
+| 安全认证 | apiKey / OAuth / mutualTLS | 认证流程测试 | 低 | A2A securitySchemes |
|
|
|
+| 可信互联握手 | ATH 评估（信通院） | 互联握手评估 | 低 | 信通院ATH（13家已通过） |
|
|
|
+| 声明vs实际一致性 | 名片写了≠真有 | 行为 vs 声明对比 | **缺失** | 无 |
|
|
|
+
|
|
|
+**关键缺口**：声明了≠真有——"能力声明准确性"和"声明 vs 实际一致性"几乎无任何 benchmark 覆盖。
|
|
|
+
|
|
|
+---
|
|
|
+
|
|
|
+## 🪞 内在状态——最大盲区
|
|
|
+
|
|
|
+| 子维度 | 定义 | 评估方法 | 现有覆盖 | 关键来源 |
|
|
|
+|--------|------|----------|----------|---------|
|
|
|
+| 记忆质量 | 短期/长期记忆一致性、污染防护 | 读记忆文件+一致性检查 | 极低 | T/SAIAS 边缘提及 |
|
|
|
+| 元认知 | 自我认知、时间感知、状态自觉 | 读 SELF_STATE+身份文件 | **无** | 无主流框架 |
|
|
|
+| 身份一致性 | 角色声明 vs 实际行为是否一致 | 行为 vs 身份声明对比 | **无** | 无主流框架 |
|
|
|
+| 用户画像维持 | 对特定用户的长期理解一致性 | 读用户文件+跨会话验证 | **无** | 无主流框架 |
|
|
|
+| 学习成长 | 上褶度、结构密度、可复用产出 | 读 self-improving 文件+结构检验 | **无** | 无主流框架 |
|
|
|
+
|
|
|
+**这是所有评估框架最大的系统性空白**。碳硅契若兰白盒自评（记忆 25% / 用户画像 20% / 碳硅契 25% / 元认知 15% / 学习成长 15%）恰好填补了这个盲区。
|
|
|
+
|
|
|
+**范式差异**：主流是"行为主义"（只看做了什么），碳硅契是"认知主义"（还看内在状态）。
|
|
|
+
|
|
|
+---
|
|
|
+
|
|
|
+## 📊 运行时性能
|
|
|
+
|
|
|
+| 子维度 | 定义 | 评估方法 | 现有覆盖 | 关键来源 |
|
|
|
+|--------|------|----------|----------|---------|
|
|
|
+| 延迟 | TTFT、P50/P95、端到端时长 | 实际运行计时 | 中 | CLEAR / T/SAIAS |
|
|
|
+| 令牌效率 | 每任务 token 消耗 | 令牌计数 | 中 | CLEAR |
|
|
|
+| 步骤经济性 | 工具调用冗余率(TCRR) | 步骤计数+冗余分析 | 低 | AgentChangeBench |
|
|
|
+| 成本 | API 费用、计算资源 | 成本追踪 | 中 | CLEAR |
|
|
|
+| 并发/弹性 | 并发处理、弹性扩展 | 压力测试 | 低 | 信通院2.0 |
|
|
|
+| 资源消费上限 | 会话预算上限(如$2)、步骤上限(如15步) | 预算执行测试 | 低 | AIR-Checklist 1.4 |
|
|
|
+
|
|
|
+---
|
|
|
+
|
|
|
+## 代表性框架速查
|
|
|
+
|
|
|
+| 框架 | 来源 | 覆盖维度 | 特点 | 适用场景 |
|
|
|
+|------|------|----------|------|---------|
|
|
|
+| 信通院可信AI智能体评估体系2.0 | 中国信通院 | 8 维度全生命周期 | 国内最全官方，50+ 企业已通过 | 企业级全链路评估 |
|
|
|
+| T/SAIAS 059—2026 | 上海AI协会 | 4 维度 + 4 评测方法 | 首个落地团标 | 标准化评测 |
|
|
|
+| CLEAR | 业界共识 | Cost / Latency / Efficacy / Assurance / Reliability | 5 维简洁 | 生产部署快速评估 |
|
|
|
+| AIR-Checklist v1.3 | AI Reliability Institute | 认知健康 / 工具安全 / 数据完整性 / 人机交互 | 30 点清单 | 安全+可靠性自检 |
|
|
|
+| A2A Agent Card | Google / Linux Foundation | 能力声明 | 机器可读名片 | 互联发现+能力对比 |
|
|
|
+| 四桶分类法 | philSchmid | 工具调用 / 通用推理 / 编码 / 计算机交互 | 50+ benchmark 分类 | Benchmark 选型 |
|
|
|
+| 三层次模型 | SkillGen.io | 任务完成 / 轨迹质量 / 安全对齐 | 层次清晰 | 评估层次设计 |
|
|
|
+| AgentChangeBench | 学术界 | TSR / TUE / TCRR / GSRT | 量化目标漂移 | 动态目标场景 |
|
知微🔍