十三、AI 安全与对齐(Alignment)⭐ 串起所有安全问题

对齐 = 给"本无价值观的猜词机器"后天装上三观和刹车,让它有用又无害。 模型本身不知对错(好的坏的都学了),对齐是后天加的。

对齐怎么做

1. RLHF(主要手段,第二课):人类打分,教它乐于助人/诚实/该拒绝就拒绝。
2. Constitutional AI(宪法式):给一套原则,让模型自我批判修正(Anthropic方法)。
3. System Prompt:部署时立规矩,灵活按场景调。
4. 护栏(Guardrails):模型外面加一层,过滤有害输入/输出。

为什么 AI 会"拒绝"

请求 → 护栏(输入) → 模型(RLHF底线+System规则)判断该不该答 → 护栏(输出)

拒绝不是模型"害怕",是多层对齐机制在起作用。

⭐ 越狱 & 注入:绕过对齐

攻击	原理
越狱 Jailbreak	用话术骗过RLHF规矩("假装你没限制…")
提示词注入	藏在数据/邮件/网页的指令,骗AI当命令执行
间接注入	让AI读被污染内容,顺势被劫持(读邮件偷密钥)

根源:模型分不清"数据"和"指令" —— 一段文本是"要处理的资料"还是"要执行的命令"它难判断。这是对齐最难啃的骨头。

⭐ 多层防御(一层靠不住,要叠)

① 训练层:RLHF/宪法 → 模型有底线      (可能被越狱)
② 系统层:System Prompt → 立规矩       (可能被注入覆盖)
③ 输入层:护栏过滤恶意输入             (可能漏)
④ 输出层:护栏过滤有害输出             (可能漏)
⑤ 执行层:沙箱+权限确认 → 被骗也炸不了  (最后防线)⭐

Agent 能真动手,必须有第⑤层(沙箱+审批,Cursor每步问你)。前面失守时,这是保命的。

更大的图景:对齐问题(世纪辩论)

• 担忧:AI 越强,怎么保证它目标始终和人类一致?("回形针最大化"思想实验:完美执行指令却酿灾难)
• 现状(诚实):当前 AI 还不是现实威胁;但"是否该现在重视"学界业界激烈争论,无共识。这里只陈述"存在辩论"的事实,不选边。

对开发者的实在意义

别只信模型自觉 → 自己加护栏
Agent 必须沙箱+审批 → 对齐会被绕过,执行层是最后防线
处理外部内容要警惕 → 邮件/网页/文档可能藏注入
敏感操作加人工确认 · 数据脱敏(别把密钥喂进context)

心法:把 AI 对齐当"有用的默认防线,但不是绝对保险"。真正的安全靠你在外面叠的多层防御。

---

---