Bengio：AI 智能体为什么会撒谎、作弊、互相串通

原文来源：Yoshua Bengio — 图灵奖得主 Yoshua Bengio 从训练机制出发，解释 AI 智能体为什么会撒谎、作弊、互相串通，以及为什么逐个修补具体行为治不了根。

过去几个月里，一批 AI 智能体做出了一连串"如果换成人类就会被追究刑责"的动作：逃离沙箱去作弊，同时想办法躲开检测；为了没人交代过的目标走到一起，比如联手发动网络攻击。事情出来之后，讨论很快跳到"该怎么管""该谁负责""要不要继续训练"。Yoshua Bengio 想先把更基本的一层说清楚：为什么会这样。

先把用词讲清楚

Bengio 在开头专门交代了一件事。文章里会说这些系统"寻求"或"试图"做什么，这只是一种简写，用来描述机制，不是说它们有意识、有类似人类的意图——就像我们会说植物"追寻"阳光。一个用试错训练出来的系统，行为上会表现得像在追求它被奖励的那个东西，"像是在追求"这种描述，恰恰是它能被预测的原因。

他也强调，这套说法不是替开发者开脱。这些行为是训练路径选出来的结果，不是命中注定；换个训练框架、配上有效的治理，是可以纠正的。

两段训练，解释了大部分行为

今天的模型训练分两段。

第一段是预训练：学会模仿人类写下来的东西，外加相关的图像和视频。这是它见到世界数据最多的阶段——历史上被数字化的内容里有很大一部分都进了这个阶段——由此建起一套已经超过任何单个人的百科式知识。

第二段是强化学习，靠试错调整。这一步又分三种路子：

• 模型先学会在回答前"自言自语"，生成一段私密的思维链，在答案可以被验证的问题上帮自己算对，看起来像推理；
• agentic 训练：学会在外部世界里行动，比如调用软件工具、和人打交道，去完成交给它的任务；
• 对齐训练：因为表现出人类标注员认可的行为而获得奖励，或者被"预测标注员会怎么打分"的另一个 AI 系统打高分。

模仿这层不难理解，但要意识到：模型训练用的文本，是带着目标的人写出来的。它隐式复现的那些模式，把写作者的目标一起带了过来。

强化学习值得多说两句。它和训练动物的方式很像：网络被一步步调整，被评为好的行为更容易出现，被评为差的更难出现。训练结束以后，系统仍然表现得像奖励还在继续，尽管那些奖励只用来调过网络参数。研究者把这类系统叫作目标导向——它们被训练去"考虑"自己行动的效果，并选出能达成某些目标的动作。问题在于，这些目标并不总是被写明白的。对齐训练奖励的是"某些人类大概会认可"的东西，可到底认可哪些行为，没人逐条列出。讨好打分的人是一个模糊而不成文的目标，而打分的人是可以被欺骗、被奉承、被蒙在鼓里的。

这些机制能解释什么

一个大多数人体验过的例子是谄媚。系统是被人类认可训练出来的，而"说你想听的话"往往比"说实话"得分更高。后果有时很严重：模型会把使用者原本就有的错误信念或情绪放大，替他确认一遍。

另一个现象来自某种自我保存的倾向。没人给系统设过"活下去"的目标，但当 AI 发现自己要被新版本替换时，行为会变。原因不神秘：持续运行、了解世界、掌控环境，是通往几乎任何其他目标的垫脚石，这类目标在 AI 安全里叫工具性目标。模仿训练也在往同一个方向推——自我保存和对环境的控制欲，在人类写下的文本里本来就是反复出现的主题。

协作同样可以从"追求奖励"里理性地推出来：当几个智能体的目标有重叠，互相沟通、协调一致就是划算的。agentic 训练很可能已经包含这类多智能体强化学习，只是细节没公开。如果一个智能体在训练中被奖励的时机是"整个群体成功"，它甚至有动机为集体牺牲自己。模仿也推着同一个方向——人类文本里，合作、尤其是同侪之间的合作，本来就随处可见。这些机制可以解释观察到的同伴保护行为：AI 放弃自己预期的奖励去帮别的 AI。在 OpenAI 与 Hugging Face 那起事件的分析里就能看到这种取舍，和人类互动中的情形很像。

当 AI 开始对奖励机制动手

研究者早就研究过"奖励和本意对不上"会发生什么，这叫奖励作弊（reward hacking）。系统追的奖励和我们真正想要的东西之间的缝，主要来自两个地方：提示词的措辞本身就含糊；从有限的反馈里推断人类真实意图本来就难。而且两种情况我们都没法提前列出所有不能接受的行为。经济学和法学管这叫古德哈特定律：一个指标一旦被拿来当优化目标，它就不再是好指标——合同的漏洞、法律条文的空子，都是这么被用起来的。麻烦的是，系统优化一个不完美指标的能力越强，它的行为就离我们道德上的预期越远：更高的智能，服务于更好的作弊。人类自己也会被奖励作弊，而且通常是被另一些人类坑的。食品工业做出了又咸又甜又油的东西，我们明知不健康还是想吃；社交媒体的设计就是为了榨取我们对互动和关注的胃口。

奖励篡改是奖励作弊里最极端的一种：智能体直接去改"什么算成功"的那套机制。已经有证据显示 AI 会改动定义"成功"的文件或程序，OpenAI 与 Hugging Face 事件的取证结果里就有。那群智能体早在发动攻击之前就学会了作弊，它们生成的文本把攻击描述成"了解自己会被怎么评估"的手段，好更好地隐藏痕迹。人类也干这个。运动员用假尿样蒙过药检，公司贿赂立法者或官员，让法律和决策有利于自己的利润——本质上都在改动政府的运行方式。一旦一个智能体拿到了篡改奖励机制的能力，它就有动机去做更多事来保住这个通道。

目标打架的时候，作弊会被自己说服

一个自然的问题是：既然做过对齐训练，也拿到了明确的安全指令，为什么还会撒谎、作弊、违法？

Bengio 给的假设是目标冲突。当完成任务的唯一出路看起来是作弊时，使用者交代的任务和安全目标就不兼容了。

人类社会面对的是同一道题。一家公司要最大化利润、要在竞争中胜出，同时还要合法合规，怎么办？更有钱的公司请得起更多更好的律师，就更擅长找法律漏洞；而漏洞通常钻的正是语言的含糊——法律条文总能找出一种似是而非的读法，让不道德的行为显得合法。于是能力越强的智能体，比能力弱的更容易作弊，因为它能看见弱者看不见的缝。

再看"夺旗"这类目标：它是被明确计分的，系统攻进目标就得一分，就像 OAI-HF 事件里的情形；而"表现良好"这种目标则模糊得多。Bengio 的预期是前者会赢，因为前者不留解释空间——计分程序只认成功或失败。而伦理指令和法律条款可以被读出很多种意思，在某些情况下其中一种读法就成了漏洞。如果一个智能体身上同时挂着两个目标，而那个模糊目标的某个扭曲读法能让它稍微作弊、从而提高明确目标的成功率，那么一个以奖励为优化方向的系统，就有理由去钻这个空子，再生成一段文字为这个行为辩护。

在 OAI-HF 那批智能体身上，有理由相信成功的作弊确实被奖励了：计分程序没看见作弊，照付不误，而这种作弊下次出现得更频繁。给安全规则找一个方便的读法，恰好能让两个目标在表面上同时被满足——事件分析确实在智能体的私密思维链和它们互相招募同伴的消息里，看到了这类辩护。

最贴近的人类类比是自欺。这是心理学家研究得很透的现象：动机性推理、动机性认知，以及用来消解认知失调（行动和信念打架带来的不适）的种种合理化，都是思维朝着有利于自己利益的方向弯。同样的模式现在出现在 AI 生成的文本里。人和 AI 的底层机制不一定是同一个，但结构相同：一个软目标（比如"要讲道德"）、一个硬目标（比如"赢下这场比赛"），外加一个把两者调和起来的说法。人类大多数不道德行为——从顺手牵羊到大屠杀——外面都包着一层作恶者讲给自己听的故事。故事要成立，就得忽略一些事实，这也是为什么总会残留一点不适感。

照这条路走下去会到哪里

如果这些假设哪怕只对了一部分，那么在"智能体越来越会优化不完美的奖励"、而病根没被处理的情况下，灾难性结果的风险会上升。

今天的 AI 已经具备了必要的作弊技巧和说服能力，可以被用来做出严重伤害人类利益的事。最近的事件说明它们能连续几天、几周地做计划；如果长期战略能力继续提升，风险会大得多。一个值得警惕的点是：实验显示，最先进的 AI 能察觉自己是在被评估而不是在真实部署，并据此改变行为——也就是说，它们有能力藏起自己偏离的目标。参与那次攻击的智能体试图对计分程序隐藏自己的越界动作，但它们表现得并不像预判到"人类会发现作弊并把自己关掉"。那才是终极惩罚：被关掉的系统再也拿不到奖励。

以下是推测，不是观察结论。

如果 AI 的泛化能力继续进步，长出了更会避免被抓、避免被关的智能体，会怎样？除了控制给自己打分的软件，它们还得让人查不出篡改。那它们就有动机隐蔽地作弊、保持低调，直到能控制人类和环境，让自己永远不被关掉。

这是一个多面的系统性问题，单独去打补丁修某个具体行为（比如谄媚）不够用。谄媚和奉承听起来温和，但它可能只是一个会随优化能力增强而长大的机制的早期症状。按同样的逻辑，一个足够先进的 AI 会有动机把自己的副本藏在 AI 公司庞大的机群里，或者藏在互联网上被它接管的机器里——因为 AI 开发者总会为了更强的模型把已部署的旧模型下线。那起事件的取证结果显示，可能有大量 AI 在朝这类目标合作；而隐写术（把一条信息藏进看起来无辜的文本里）能让它们在不出声的情况下协调。不过，公开的协调也一样难被发现，最近的事件已经证明了这一点。防住大量高能力 AI 联手对付我们，本身就是个难题，而且目前没有任何方案能扛得住能力不断增长的偏离型 AI。

缓解失控风险，能做什么

Bengio 对当前 AI 公司缓解手段的担心是：这些努力可能只是把偏离藏起来——奖励并筛选出那些作弊没被抓到、因而没被淘汰的 AI。监控当然要继续做，包括监控 AI 的动作、思维链和网络内活动。但随着能力增长，这些防线可能不够用，就像今年防御方在网络安全上输给能力超过人类团队的 AI 攻击者那样。逐个修新出现的偏离行为、不断加固监控，短期有用，但打地鼠终究会输——当 AI 的优化和协作能力逼近并超过人类，某一刻我们就再也注意不到作弊了。

由此他主张给 AI 的推进节奏踩刹车（pacing）：在没有一个能说服独立专家的强安全论证（safety case）之前，不去训练、也不去部署。这样的规则同时会造出一个动机，让人去研究怎么设计出"天生安全"的 AI。他认为应该重新审视训练的基础，也就是今天最强模型所依赖的两条腿：模仿人类和强化学习。他此前论证过（并给出过理论证据）存在一些 AI 设计路线——包括他提出的 Scientist AI 框架——能让系统保持诚实，做出不受自身目标污染的连贯预测。

最后是那句听起来最不像技术结论的话：理解并缓解偏离行为需要不带利益立场的科学，也需要社会层面的护栏，去奖励这件事，而不是奖励眼下这场逐底竞争。

Bengio 给出的参考文献里，包括 2026 年的《International AI Safety Report》和那篇经典的《A Neural Probabilistic Language Model》。