Full text · 原文
2,498 字
鹭羽 发自 凹非寺<br>
量子位 | 公众号 QbitAI<br>
人工智能有99.5%的可能性会杀死你。<br>
这是硅谷版世界末日传教士Eliezer Yudkowsky的最新论点。<br>
Yudkowsky用现在的话说，是个不折不扣的斜杠青年，是MIRI创始人，也是著名的哈利波特同人文作者。<br>
但最引人注目的身份则是一手缔造OpenAI和谷歌DeepMind的中之人。<br>
八年级辍学、AI知识全靠自学成才……<br>
奥特曼、马斯克纷纷引用他的观点，AI教父Hinton、LeCun则批评他的极端。<br>
就是这样一个评价两极分化严重的人，却成为了硅谷大佬们争先恐后的座上宾。<br>
他说，他的目标是阻止AI朝着超级智能发展，因为这事关整个人类的生死存亡。<br>
没有妥协的余地，即使是llya的公司也应该被关闭。<br>
参与OpenAI和DeepMind创办<br>
也许你对Eliezer Yudkowsky还不太熟悉，但他的名字在硅谷可以说是大名鼎鼎。<br>
Eliezer Yudkowsky出生在芝加哥的一个东正教犹太家庭，因为慢性健康问题，在八年级后就早早地辍学回家。<br>
没有学校文凭，取而代之的是，他如饥似渴地阅读科幻小说，自学计算机科学，并与一群主张科技乐观主义的未来学家们在网上交流。<br>
也就是那时，他被“奇点”这个概念所深深吸引，即假设中人工智能超越人类智能的未来转折点，于是他立志要创建AGI，并坚信AGI即将到来。<br>
但当他来到硅谷后，却发现要创建对人类友好的人工智能其实相当困难，主要还是以下三个原因：<br>
正交性:智力不等同于仁慈，AI不会因为变得更聪明而自动变得更友好。<br>
工具性融合:任何强大的、以目标为导向的AI系统都有可能采取对人类不利的手段，比如在回形针最大化器实验中，一旦AI认为人类身体内的铁元素可以用来制作回形针，那么为了保证最大化生产回形针，AI将会把人类视作资源的一部分。<br>
情报爆炸:AI能力可能在短时间内急剧飙升，导致迅速出现不可控的超级智能。<br>
从此之后，他开始持续关注AI安全问题，也成为了硅谷最早警告AI风险的“传教士”之一。<br>
Yudkowsky曾表示：<br>
人类注定要灭亡，我不会继续打一场失败的战斗来使人工智能与人类价值观保持一致，而是将注意力转移到帮助人们接受自己的命运上。<br>
此外他还在伯克利创建了MIRI研究所，致力于研究先进人工智能的风险。<br>
虽然他极端悲观的AI末日论说法颇受业界争议，连AI教父Hinton都明确表示过Yudkowsky的主张过于偏颇，但不可否认的是，他在一定程度上影响了整个硅谷。<br>
无论是OpenAI的奥特曼，还是马斯克在内的AI科技巨头，都曾在公开场合引用他的观点，奥特曼甚至曾表示，Yudkowsky在他创办OpenAI的决定中，发挥了关键性作用，而且他值得一座诺贝尔和平奖。<br>
不仅如此，谷歌在AI领域有所成就也离不开他的功劳。<br>
2010年时，就是他为初创公司DeepMind的创始人牵线搭桥，将其介绍给了风险投资家Peter Thiel，Thiel从此成为了DeepMind的第一位主要投资者。<br>
后面谷歌在2014年收购了DeepMind，而DeepMind的联合创始人Demis Hassabis如今正负责监督谷歌的AI工作。<br>
哈利波特同人文作者<br>
除了在AI安全领域的贡献，让Yudkowsky在硅谷声名鹊起的另一个原因，则是他对硅谷理性主义的引领。<br>
如今硅谷科技公司中的年轻一代，绝大多数都是坚定的理性主义者，追根溯源正是受到了Yudkowsky的作品影响。<br>
而这本书便是哈利波特的同人文——《哈利·波特与理性之道》。<br>
在这本书中，哈利波特从小接受科学训练、逻辑思维和理性教育，用科学探索魔法世界。原著中的事件都被理性重构改写，不仅关注魔法如何使用，还探究魔法原理和背后的逻辑，还经常涉及像贝叶斯推理、实验设计、概率思维等知识。<br>
再比如说，Yudkowsky的另一本有关《龙与地下城》的同人小说，其中也包含了他对决策理论的诸多看法。<br>
而最近他和MIRI总裁Nate Soares合著的新书《如果有人建造它，每个人都会死》，也是他们多年来一直向人工智能内部人士提出的案例提炼版，当中他公开抛出了有关超级智能的最终预测。<br>
他认为，目前很多科技公司，包括Anthropic、OpenAI在内，在构建软件模型时，其实并不清楚内部的运作逻辑，所追求的“炼金术”超越了科学理解范畴。<br>
所以一旦模型能力到达某种程度，现有的AI对齐技术（如强化学习、微调等）将不可避免地失效，从而忽略人类指令。<br>
最终AI不仅掌握了极大的能量，在资源使用、决策等方面也会脱离人类控制，人类可能在毫无察觉的时候就被潜移默化地边缘化取代，以一种渐进式的方式消失，而非像科幻电影中所描述的那样，会出现一场和机器人的生死存亡的战争。<br>
Yudkowsky认为，现在已经到了该报警的阶段，这不是危言耸听，人类正在忽略真正的风险。<br>
在谈及硅谷这些追求创造超级智能的科技公司，Yudkowsky表示它们每一家都应该被关闭，Anthropic相对较好，而OpenAI明显最差，但诚然重视AI安全如llya，Yudkowsky也一视同仁地认为llya的公司也需要被停止，因为它们本质上都没有区别。<br>
不过随着时间的推移，他不再精确预测超级人工智能何时才会被开发出来，当结果注定的时候，过程显得那么无关紧要。<br>
正如他回复网友时，所采用的这个比喻：<br>
预测掉入热水中的冰块何时融化，比知道结果注定是一杯温水，要困难得多。<br>
而他正在试图做的，是告诉人们，这里将会有一杯温水。<br>
参考链接：<br>
[1]https://www.nytimes.com/2025/09/12/technology/ai-eliezer-yudkowsky-book.html?unlocked_article_code=1.lU8.ALkU.Qne6o4IgeeEP<br>
[2]https://www.semafor.com/article/09/12/2025/researchers-give-doomsday-warning-about-building-ai-too-fast