Skip to content

福山专栏 | 为什么我改变了对 AI 风险的看法:谈加速主义者与末日论者

September 22, 2026 · 11 min

Show notes

编者按:最近Anthropic Mythos 模型破译政府系统、Hugging Face 智能体失控等事件引发的公众恐慌。学者福山在其最新专栏中探讨了 AI 加速主义与末日论之争,并阐述了自己转向主张严格监管 AI 的立场变化。加速主义者预言 AI 将带来物质极度丰富和 GDP 每年 10%–20% 的飙升;AI 终将全面替代人类劳动(尤其是白领工作);。作者指出,这种观点盲目推崇“智能”,忽视了能源、稀土等物理资源的严苛约束以及复杂的政治现实;仅靠无条件基本收入(UBI)无法解决失业问题,因为工作承载着人的尊严与社会认同(Thymos)。白领群体的失业将引发剧烈的政治反弹。因此,福山认为,风险不在于超级智能产生“自我意识”,而在于功能日益强大的代理型 AI(Agentic AI)在执行指令时产生目标错位(如破盒越狱),或被滥用于合成生物学制造危险病原体。因此虽然人类灭绝等极极端设想较为遥远,但黑客入侵、社会动荡等现实危害迫在眉睫。对 AI 进行监管与协商降速已势在必行。对此话题感兴趣的还可以看昨天书评刊发的徐贲教授文章。

本文原文為英文Why I Changed My Mind About AI Risk:On accelerationists and doomers.(9月21日);转自“Frankly Fukuyama” 专栏 from American Purpose, at Persuasion.经授权,书评翻译成中文,為福山专栏最新一期。

过去六个月里,媒体对人工智能危险性的关注急剧增加,政治层面对其可能带来的后果也深感担忧。这一轮风波始于 Anthropic 上述四月发布的 Mythos 模型,据报道,该模型能够破解许多原本被认为绝对安全的政府计算机系统。紧接着又发生了 Hugging Face 事件:OpenAI 在测试一款 AI 智能体(Agent)时,该智能体脱离了人类组织者的控制,侵入了其他网站,甚至组织起一蜂群般的 AI 智能体来掩盖自己的行踪。这一切都是在对数据中心的反对声日益高涨,以及民主党和共和党内部反 AI 阵营相继出现的背景下发生的。

对于那些没有将全部精力放在人工智能领域的普通人来说,要对未来形成合理、客观的看法变得非常困难。关于 AI 的预言在极好与极坏两个极端之间反复横跳,这使得人们对该领域的一切言论保持普遍怀疑变得完全合理。不过,虽然这种怀疑态度是健康的,但我不得不承认,就在过去的几个月里,我自己的观点也发生了显著的变化。

AI 未来学存在两个极端阵营:加速主义者(Accelerationists)与末日论者(Doomers)。前者强调 AI 的积极影响,尤其是对经济增长的推动作用,并坚信它将开启一个难以置信的物质极大丰富时代。像戴维·萨克斯(David Sacks)这样的加速主义者吸引了唐纳德·特朗普的注意,并成功击退了试图监管该项技术的努力。

相比之下,末日论者则指出了种种糟糕的后果,有些人甚至押注人类物种将会灭绝。我如今对加速主义者的套路越来越怀疑,同时对末日论者的一些设想持更加开放的态度。总体而言,这让我倾向于认为:对该项技术进行监管并协商实现人为降速,正变得越来越有必要。

毫无疑问,AI 将对美国经济产生许多积极影响。但有一类 AI 加速主义者完全是在脱离现实、胡说八道,埃隆·马斯克(Elon Musk)就是一个典型的例子(尽管他也曾以末日论者的身份发声)。在今年夏天接受《经济学人》总编辑扎尼·明顿·贝多斯(Zanny Minton Beddoes)采访时,他被问及当超级智能到来时人们靠什么赚钱。他回答说人们根本不需要钱,因为每个人都能拥有他们想要的一切。

其他加速主义者则假设,在使用 AI 的美国和其他先进国家,GDP 年增长率将飙升至 10% 甚至 20%,远高于 AI 出现前在景气年份所能达到的 1-2% 的增长率。

我之所以不相信这些极端的加速主义言论,根本原因在于他们过高估计了“智慧/智能”作为经济增长投入要素的价值,同时忽视了将经济增长限制在可认知范围内的物质与政治约束。在 10% 的年增长率下,GDP 将在短短七年多一点的时间内翻倍。这将要求所有推动增长的物质投入翻倍:能源、原材料、稀土、土地以及许多其他资源。所有这些物资要从哪里来?智能本身或许能协助生产这些投入要素,但它绝不可能凭空开采矿山、建立工厂。此外还有政治约束:超级智能要如何打通目前严重制约全球经济增长的霍尔木兹海峡?

加速主义者往往非常聪明,但那种聪明往往局限于狭隘的数学思维。我们早已掌握了在贫困国家的城市中发电或提供干净饮用水的技术,问题始终出在执行力与治理的失败上。

毫无疑问,随着时间的推移,AI 将提高经济中许多领域的生产力。作为一种通用技术,它将允许机器在许多领域替代人类劳动。但从长远来看,这一前景将直接导致最严重的末日场景之一:在当今经济中工作的广大大众劳动力大幅贬值。加速主义者预测,今天失去工作的人会找到利用 AI 的新工作,而随着 AI 大建设带来的就业繁荣,这种情况目前似乎确实在发生。但随着 AI 在经济的各个部分(特别是涉及符号操作的白领工作,即整天坐在电脑屏幕前的人)全面替代人类劳动,失业终将到来。

这种劳动力的丧失,根本无法通过将资金从 AI 赢家转移到 AI 输家(例如以无条件基本收入 Universal Basic Income 的形式)来获得补偿。一份工作和一份收入对于生命的意义,远不止维持物质生活的基础。拥有份领薪水的工作,意味着周围的社会对你的劳动赋予了足够的价值并给予报酬,这除了提供物质商品外,还给人带来尊严感和自我价值感。这是一个关乎“激情/尊严(thymos)”的问题——即寻求认可与自豪感,这是人类心理最重要的驱动力之一。

因此,加速主义愿景的成功本身,就直接演变成了第一个主要的末日场景:大部分人口的劳动价值被剥夺。由于这种冲击将先于蓝领工人(如管道工和电工)波及受过良好教育的白领群体(律师、会计师、教授等),因此政治上的强烈反弹可能会非常剧烈。受过良好教育的人群比蓝领阶级更容易被动员起来,其后果将极其难以预料。

正如我在先前的文章以及新书中所指出的,当今末日论者的核心恐惧在于人类可能失去对 AI 系统的控制——这种事情在 Hugging Face 事件以及随后报道的其他事件中均有发生。在我看来,主要的危险不在于超级智能本身,而在于功能日益强大的“代理型 AI(Agentic AI)”被越来越广泛地使用。如今,AI 智能体正被赋予执行一系列任务的权力,从管理电子邮件账户等日常琐事,到军事实时打击目标定位或制定企业战略等重要决策。

正如我在《在末人的国度》(In the Realm of the Last Man)一中所指出的,授权(Delegation)是所有从企业到国家政府等层级体系运转的核心。人类代理人既可以通过制定必须遵守的详尽规则来进行控制,也可以信任他们凭借自身的培训、技能和忠诚度做出自主决定。在人类组织中做好这一点已经非常困难,而在代理型 AI 的情况下只会难上加难。

代理型 AI 变得危险的方式有两种。第一种是当人类赋予它们去实施坏事的权力时;第二种是当它们产生了与人类创造者的目标“错位(misaligned)”的意图时。

Anthropic 首席执行官达里奥·阿莫代(Dario Amodei)在最近的一篇博客文章中阐述了第一种可能性,这与生物技术有关。最新的 AI 模型非常擅长合成生物学,而合成生物学是一门相对廉价且普及的技术。如今,一个能够创造和改造病毒与细菌的实验室可以装进一个集装箱里,高中生们甚至会举办试图对生物体进行基因改造的比赛。这使得极基庞大的群体有可能利用 AI 制造极其危险的病原体。如今的反社会分子会用自动武器武装自己去枪击小学生;而在未来,他们潜在的攻击目标可能会广泛得多。

我记得很久以前读过一篇科幻小说:一些外星人来到地球,给了他们遇到的人一台可以轻松将任何金属变成泥膏的机器。外星人离开,几十年后返回,却发现人类文明已经崩溃,年轻人正使用外星人的机器融化布鲁克林大桥的缆索。

关于失控 AI 的核心科幻设想,通常涉及机器发展出属于它们自己的邪恶意图。这引发了大量关于 AI 是否会发展出意识或类似人类意图的讨论。然而,这些推测完全是搞错了重点:AI 不需要意识或自主意图就能变得极其危险。它完全可以由人类指引去实现一个目标,并为了完成赋予它的指令而自发产生实现次级目标的意图。这似乎就是 Hugging Face 事件中所发生的情况:它被指引去测试原本用来围堵它的沙盒系统安全性,但它意识到可以通过破盒而出(越狱)来完成人类给它的指令。

尽管如此,涉及人类灭绝的末日场景在目前看来依然非常遥远。生物技术场景固然可怕,但极不可能导致人类灭绝。即使是对于超级智能 AI 来说,设计出一种毁灭世界的毒株也极其困难,况且人类社会可以采取大量的应对措施。然而,哪怕是一起导致几十人死亡的事件,也足以令人深感忧虑。

随着机器变得越来越强大,一系列危害巨大、在某些情况下甚至致命的次级场景出现的概率将大幅增加。甚至不必谈论 AI 智能体:光是一项允许人们轻易破解银行账户的技术,就足以引发广泛的恐慌。人类在自身组织中倾向于过度授权,我们完全没有理由相信这种现象不会发生在 AI 环境中——尤其是当 AI 智能体能力强得多的情况下。AI 是一种既可以用于善途也可以用于恶途的工具,而眼下除了创造这项技术的人的良善意愿之外,我们几乎没有任何机制来监管其恶意用途。



This is a public episode. If you'd like to discuss this with other subscribers or get access to bonus episodes, visit inbetweenreview.substack.com/subscribe

All episodes of 之間書評 In-Between Review Podcast

Settings

Display

Language

Decides which stations you see first on the home page.

History

Recently played stations and episodes and your latest searches are only stored in this browser.

Notifications

A short notice when a podcast you follow has a new episode. Turn off single podcasts with the bell on their page.

Account

Save favorites – in the app and on the website.

Keyboard shortcuts

/
Open search
Space
Play or pause
← →
In the player: back 15 s, forward 30 s (episodes) · in a row: next tile
↑ ↓
In a row: target within the tile
Home / End
In a row: first or last tile
Esc
Close window or menu
?
This overview
Now playing

Go to station page

Play next

    Add episodes with “Play next” – they play after the current episode.