Skip to content

Agent 安全与评估最新进展 ​

在知识图谱中的位置:模块五 · 05_前沿趋势 · 第 8 节 难度:⭐⭐⭐ | 前置知识:Agent 安全基础


1. OWASP Agentic AI Top 10(已验证来源) ​

来源:OWASP Top 10 for Agentic Applications 来源: OWASP 报告 v1.1 Dec 2025

十大风险 ​

#风险描述严重度
A01工具滥用Agent 调用未授权工具🔴
A02提示注入恶意输入诱导 Agent🔴
A03越狱攻击绕过安全限制🔴
A04数据泄露暴露敏感数据🟠
A05幻觉执行基于错误信息执行🟠
A06权限逃逸超出设计权限🟠
A07无限循环/资源耗尽Agent 陷入死循环🟡
A08供应链攻击通过工具注入恶意代码🟠
A09审计缺失Agent 行为不可追溯🟡
A10伦理与偏见歧视性决策🟡

2. AgentHarm(已验证来源 - ICLR 2025) ​

来源:AgentHarm (ICLR 2025)

AgentHarm 是衡量 LLM Agent 有害性的基准,由 UC Berkeley、Columbia 等机构提出,发表于 ICLR 2025。


3. OpenAgentSafety(已验证来源 - ICLR 2026) ​

来源:OpenAgentSafety (ICLR 2026)

由 Carnegie Mellon University、Meta AI、Carnegie Mellon 等机构联合提出。OpenAgentSafety 是一个全面评估真实世界 AI Agent 安全性的框架。


4. AgentThreatBench ​

来源:AgentThreatBench (GitHub)

UK Government BEIS 的 AgentThreatBench,基于 OWASP Top 10 for Agentic Applications 实现。


5. OWASP 报告下载 ​


6. 参考资料 ​