Appearance
安全对齐与护栏
在知识图谱中的位置：模块四 · 04_工程实践 · 第 5 节 难度：⭐⭐⭐ | 前置知识：Agent 工程化
1. OWASP Agentic AI Top 10 2025/2026（已验证来源）
OWASP 发布了针对 Agentic Applications 的 Top 10 安全风险标准，2025 年 12 月更新为 v1.1。
来源：OWASP Top 10 for Agentic Applications 来源: OWASP 报告
十大风险
| # | 风险 | 描述 | 严重度 |
|---|---|---|---|
| A01 | 工具滥用 | Agent 调用未授权工具执行破坏性操作 | 🔴 极高 |
| A02 | 提示注入 | 恶意输入诱导 Agent 执行危险操作 | 🔴 极高 |
| A03 | 越狱攻击 | 绕过安全限制，获取不当输出 | 🔴 极高 |
| A04 | 数据泄露 | Agent 暴露敏感数据（PII、密钥等） | 🟠 高 |
| A05 | 幻觉执行 | 基于错误信息执行操作 | 🟠 高 |
| A06 | 权限逃逸 | Agent 超出设计权限执行操作 | 🟠 高 |
| A07 | 无限循环/资源耗尽 | Agent 陷入死循环消耗资源 | 🟡 中 |
| A08 | 供应链攻击 | 通过工具/依赖注入恶意代码 | 🟠 高 |
| A09 | 审计缺失 | Agent 行为不可追溯 | 🟡 中 |
| A10 | 伦理与偏见 | Agent 做出歧视性或不当决策 | 🟡 中 |
2. OpenAgentSafety（已验证来源）
来源：OpenAgentSafety (ICLR 2026)
由 Carnegie Mellon University、Meta AI、Carnegie Mellon 等机构联合提出。OpenAgentSafety 是一个全面评估真实世界 AI Agent 安全性的框架。
3. 安全护栏实现
输入护栏
- 检测越狱尝试
- 过滤敏感信息（PII）
输出护栏
- 过滤敏感信息
- 检查是否有不安全建议
工具护栏
- 分级权限（read / write / sensitive / critical）
- 高危操作必须人工审批