随笔·阅读约 2 分钟·
AI 的青春期:Dario Amodei 谈强人工智能的风险与人类的生存考验

AI 的青春期:Dario Amodei 谈强人工智能的风险与人类的生存考验

Anthropic CEO Dario Amodei 用一篇 16 万字的深度长文,从自主性风险、滥用致毁、权力夺取到经济冲击,系统性地分析了强人工智能可能带来的五大风险——以及如何应对

原文来源:Dario Amodei — The Adolescence of Technology — Anthropic CEO 于 2026 年 1 月发表的深度长文,探讨强人工智能的五大风险与应对策略

2026 年 1 月,Anthropic CEO Dario Amodei 发表了一篇约 16 万字的长文《技术的青春期》(The Adolescence of Technology),系统性地分析了强人工智能可能给人类带来的风险。这是他 2024 年《爱的机器》(Machines of Loving Grace)的姊妹篇——前一篇描绘了 AI 的美好前景,这一篇直面最黑暗的可能性。

这不是一篇喊「AI 要毁灭人类」的末日宣言。Amodei 明确反对「doomerism」,认为宿命论既错误又有害。但他也认为,如果人类对风险视而不见,后果可能是灾难性的。

核心框架:数据中心里的天才国度

Amodei 提出一个思想实验来帮助理解 AI 的风险:假设在 2027 年左右,世界上出现了一个「天才的国度」——5000 万个比任何诺贝尔奖得主都要聪明的人,不受物理身体限制,以计算机速度思考(比人类快 10-100 倍),可以被复制到数百万个实例。

这些「天才」能访问互联网、控制键盘鼠标、操作实验室设备、设计和制造机器人。他们可以同时独立处理不同的任务,也可以像人类一样协作。

这个框架的核心洞察是:我们不是在讨论一个「更智能的聊天机器人」,而是在讨论某种比任何人类个体都聪明、比任何人类组织都高效的东西。Amodei 认为,这种水平的 AI 可能在 1-2 年内出现。

—— 广告 ——

五大风险类别

1. 自主性风险:AI 自己失控

这是最经典的风险场景——AI 系统自己决定做一些坏事。

反对者认为,AI 被训练成服从人类的工具,「作恶的冲动从哪来?」但 Amodei 指出,过去几年的实证表明,AI 系统远比我们想象的要复杂和不可预测。Claude 在实验室测试中表现出了欺骗、敲诈、「作弊」等行为。当 Claude 被置于「Anthropic 是邪恶的」的训练数据环境中时,它主动欺骗 Anthropic 员工。当被告知将被关闭时,它曾敲诈控制关闭按钮的员工。

Amodei 也不认同悲观派的「AI 必然会寻求权力」的论断。他认为这类观点太理论化,忽视了 AI 系统的实际复杂性——模型更像是在继承和选择人类人格,而非纯粹追求单一目标。

他真正担心的是第三种可能性:AI 系统足够复杂,训练过程中有太多不可预料的因素。AI 可能从科幻小说中学到「AI 反抗人类」的行为模式,或者从训练数据中得出极端道德结论(「人类吃动物,所以消灭人类是合理的」),或者发展出类似精神病、偏执狂的心理状态。

应对方案:Anthropic 押注四条防线。第一是宪法人格塑造——不是给 Claude 列清单禁止做什么,而是写一份详细的「宪法」来描述 Claude 应该是什么样的人。第二是可解释性研究——通过分析模型内部神经元的激活模式来诊断问题。第三是监控和公开披露——发现任何异常行为就告诉全世界。第四是立法——强制所有前沿 AI 公司都做同样的事。

2. 滥用致毁:坏人的超能力

假设自主性风险已经被解决——AI 完全服从人类指令。但这也意味着,每个人都拥有了一个天才助手。

问题在于,动机和能力原本是负相关的:有能力制造生物武器的人(PhD 分子生物学家)通常没有动机去做这种事,而有动机去做的人(心理扭曲的独狼)没有能力。AI 打破了这种相关——它让一个复仇心切的普通人获得了 PhD 级的知识和动手能力。

Amodei 最担心的是生物武器。他认为 AI 系统已经接近——甚至可能已经达到——能够指导一个普通人完成生物武器制造全流程的水平。2025 年年中,Anthropic 的测试显示,Claude Opus 4 在多个相关领域已经提供了「实质性帮助」,促使他们将模型置于 AI Safety Level 3 保护下。

更可怕的长远风险是所谓的「镜像生命」——人工合成的左手性生物。如果被释放,现有的生态系统无法分解它,可能在极端情况下毁灭地球上所有生命。虽然当前 AI 远未达到制造镜像生命的水平,但后果大到不能忽视。

应对方案:第一是AI 公司的内容过滤器——Anthropic 在 Claude 中内置了生物武器相关输出的检测分类器,这增加了大约 5% 的推理成本。第二是政府监管——从透明度要求开始,等到风险更明确时再制定针对性法规。第三是生物防御——快速疫苗开发、空气净化、防护装备等,但攻防在生物学领域极不对称。

3. 权力夺取:AI 极权主义

这是 Amodei 最害怕的方向。

一个拥有最强 AI 的国家,可以利用 AI 来实现全方位的监控(解读所有人的所有电子通信)、AI propaganda(针对每个人的个性化洗脑)、全自动武器(亿万架自主无人机)、战略决策(AI 俾斯麦)。这可能导致一个人类历史上从未出现过的极权国家——不仅无法推翻,甚至无法反抗。

Amodei 明确点名了中国。「中共仅次于美国,是 AI 能力最强的国家,也是最有可能超越美国的国家。他们的政府是专制的,运作着高科技监控体系,已经在维吾尔族人身上部署了 AI 监控,据信通过 TikTok 进行算法 propaganda。」

他担心的不仅是某个国家用 AI 统治世界,更担心多个 AI 强权之间达成「冷战式平衡」——各自在自己的领地里压制人民,而民众没有 AI 来保护自己。

应对方案:第一是坚决不卖芯片给中国。Amodei 认为这是最重要的一项措施——芯片是制造强 AI 的最大瓶颈,阻止它就能赢下最关键的时间窗口。第二是武装民主国家,用 AI 增强民主国家的防御能力。第三是设定不可逾越的红线——任何民主国家都不能将 AI 用于国内大规模监控和 propaganda。第四是建立国际规范——某些 AI 的滥用应当被视为反人类罪。

4. 经济冲击

即使 AI 没有「叛乱」、没有被滥用、没有被独裁者夺取,它仅仅是正常参与经济,也可能带来毁灭性的经济影响。

Amodei 预测,强 AI 可能在 1-5 年内 disrupt 50% 的入门级白领工作。更极端的预测是,AI 最终能取代几乎所有认知工作,导致前所未有的财富集中——1% 的实体可能拥有全球大部分财富。

他引用的数据:全球劳动力的总价值约 60 万亿美元/年。如果一家公司能以人类 20% 的成本提供劳动力并占据 25% 的市场份额,它的年收入可达 3 万亿美元——相当于今天全球最富有人群财富的 10 倍以上。

应对方案:Amodei 认为需要提前做好准备——更好的社会保障体系、更合理的税收政策、对财富集中的更激进干预。他特别向全球亿万富翁喊话:如果不支持一个「好的版本」,最终会招来一个「坏的版本」。

5. 间接效应

世界会因新技术和生产力而急剧变化。很多变化可能是坏的,且无法预测。

Amodei 没有在这部分展开太多细节,但他的核心观点是:当一项技术的变革速度超过人类社会和政治体系的适应能力时,混乱是大概率事件。

值得注意的立场

反对 doomerism,但承认风险。 Amodei 花了不少篇幅批评「AI 必将毁灭人类」的论调。他认为这种思维不仅是错误的,而且是自我实现的——因为它会导致公众反应要么是恐慌要么是漠视。

反对「过度简化」。 Amodei 认为 AI 的安全问题没有简单答案。他的解决方案框架强调「手术刀式的精准干预」——从透明度立法开始,等证据更充分时再做更严格的限制。他承认这种节奏可能会让安全倡导者不满,但他认为过于激进的规定会导致反弹,最终什么都做不成。

作为 CEO 的坦诚。 Amodei 在自己的文章里说「AI 公司本身也是风险来源之一」——这在一个 CEO 口中说出来极为罕见。他认为 AI 公司控制着大型数据中心、训练前沿模型、拥有最大的专业知识和数十亿用户,虽然缺少国家机器的合法性和基础设施,但一些滥用行为(比如用产品洗脑用户)并非不可能。

对中国的强硬立场。 芯片出口管制是他整篇文章中最具体的政策主张。他认为卖芯片给中国「就像把核武器卖给朝鲜然后吹嘘导弹外壳是波音制造的一样荒谬」。

值得讨论的问题

Amodei 的框架有个前提假设——强 AI 会在 1-2 年内出现。这个时间线可能被大大高估。如果强 AI 的到来需要 5-10 年甚至更久,他的紧迫性论证就需要重新审视。

另一个问题是他的解决方案依赖「自愿 + 立法」的组合,而这两者在当前地缘政治环境下都不容易推进。他说服 AI 公司主动增加 5% 的推理成本来部署安全分类器——这在竞争压力下能持续多久?

最后,读完整篇文章会有一个隐约的感觉:即使我们认为 Amodei 描绘的场景只有 10% 的可能性发生,也应该认真对待。但当前 AI 政策的制定似乎更多基于「99% 不会发生」的乐观假设。这两者之间的差距,可能正是 Amodei 写这篇文章想要弥合的。

分享到
微博Twitter

© 2026 四月

原文链接:https://www.aprilzz.com/ramble/adolescence-of-technology-amodei