Full text · 原文
4,872 字
内容｜Max<br>
编辑｜Max<br>
过去两个月，AI圈发生了一连串不太寻常的人事变动。<br>
5月19日，Andrej Karpathy在X上宣布加入Anthropic。<br>
作为OpenAI的联合创始人、特斯拉AI部门的前掌门人，他想做任何事情都不缺资源。<br>
想创业，风投能从帕洛阿尔托排队到旧金山。<br>
想休息，他的江湖地位也足够体面。<br>
他之前也是这样的，做点小项目然后开源。<br>
但他突然选择加入Anthropic的预训练团队，做一名研究员。<br>
一个月后，2024年诺贝尔化学奖得主、AlphaFold联合创造者John Jumper，结束了在DeepMind的九年生涯，去向同样是Anthropic。<br>
再往名单下看，还有一批Gemini核心成员，和几位美国顶尖高校的教授。<br>
当时我和大多数人一样，把这归结为常规的人才争夺战：<br>
无非是钱给够了（或者觉得Anthropic快上市了），或者Dario Amodei的个人魅力。<br>
这类新闻看多了，很难再有什么波澜。<br>
直到今天凌晨。<br>
Anthropic发布了一篇论文，标题很学术，《Verbalizable Representations Form a Global Workspace in Language Models》（可语言化的表征在语言模型中构成一个全局工作空间）。<br>
我本来在等GPT5.6，看到这篇论文打算扫一眼摘要就睡，结果读完了全文，又把配套的推文串翻来覆去看了三遍，睡意全无。<br>
因为我意识到，这篇论文可能就是那串人事变动的答案。<br>
它讲的事情，说白了就一句话：<br>
他们在Claude的神经网络里，找到了思考发生的物理位置。<br>
不是概念，是真的物理位置。<br>
PART.01<br>
一块被命名为J-space的区域<br>
Anthropic这次用的工具叫Jacobian Lens，该技术旨在识别易于口头表达的内部表征。<br>
对于模型词汇表中的每个token，雅可比透镜都能识别出一个向量表征，该向量表征编码了模型未来将该词元表达出来的可能性 。<br>
作用类似给大模型做fMRI（核磁共振检查）：<br>
通过逐层扫描模型的内部激活，看模型在嘴上没说的时候，它脑子里在过哪些词。<br>
他们真的扫出来一块边界清晰的区域，命名为J-space。<br>
这个空间恰好对应神经科学里一个很有名的理论：全局工作空间理论（global workspace theory）。<br>
这个理论把大脑描绘成一堆并行工作的专家系统，彼此隔离、各干各的、全程无意识。<br>
而一条信息要变成意识意识，就得挤进一个很小的共享通道进行加工，也就是工作空间（workspace），再从那里广播给大脑的其他专家取用。<br>
Anthropic 认为，J-space 在 Claude 体内扮演的就是这个角色。<br>
为了弄清楚这块区域是干什么的，Anthropic的人设计了三个实验。<br>
实验一：换念头实验<br>
J-space 可能是答案真正的来源，也可能只是个记分牌，被动记录别处做出的决定。<br>
Anthropic 的验证方式很直接：直接下手改。<br>
他们让 Claude 在心里默想一种运动，然后说出来。<br>
开口前读 J-lens，看到"Soccer"排在最前，Claude 随后果然回答足球。<br>
接着他们伸手进神经网络，把"Soccer"模式删掉，原位换上一个同等强度的"Rugby"模式，其他什么都不动。<br>
Claude 张口就说：我刚才想的是橄榄球。<br>
如果 J-space 只是个记分牌，改它应该什么都不会发生。<br>
答案跟着编辑走，说明答案是真的从这里读出来的。<br>
反向实验更有意思：告诉 Claude"可能有一个念头被注入了你的思维"，然后趁它读题时往 J-space 里塞进"lightning"模式。<br>
Claude 回答：我检测到了，那个念头是关于闪电的。<br>
换了很多概念，结果都一样。<br>
实验二： 一边抄书，一边心算<br>
第二个性质是控制。<br>
人可以有意在脑子里聚焦一幅画面或一个词，Claude 行吗？<br>
官方给的例子是：让 Claude 一边抄写一句无关的句子，一边在心里想金门大桥。<br>
表面上它老老实实在抄句子，但 J-space 里，"bridge"和"California"全程亮着，甚至连"imagery""thoughts"这些描述"正在想"这个动作本身的词也一起亮了。<br>
论文里还有个数学实验：让它一边抄写一句关于一幅画的句子，一边心算 3² − 2。<br>
J-space 里先亮起"nine"，几层之后，亮起"seven"。<br>
输出里没有任何数学痕迹，只有那句关于画的句子。<br>
算术，完全发生在内部。<br>
不过 Claude 的控制力跟人一样不完美。<br>
叫它"不要想"某个东西，那个概念亮起的程度确实比让它想时低，但比从没提过时高得多。<br>
这就是心理学里那个经典的"别想白熊"效应。<br>
而控制失败时，J-space 里还会同时亮起"damn"和"failure"，它好像知道自己没绷住。<br>
实验三：蜘蛛换成蚂蚁，答案就变了<br>
那推理呢？<br>
问题是："会织网的动物有几条腿？"<br>
Claude 要先想明白这个动物是蜘蛛，再回忆蜘蛛几条腿。<br>
"蜘蛛"这个词在题目和答案里都没出现——它只回答"8"——纯粹是内部的垫脚石。<br>
J-lens 显示，"spider"在处理中途悄悄亮了起来。<br>
把它换成"ant"，Claude 的答案立刻变成"6"。<br>
写押韵对句时也一样：Claude 会提前选好韵脚词，放在 J-space 里等着。<br>
中途给它换一个，整行诗都会跟着重写。<br>
而最能体现"工作空间"本色的实验是：用四个不同的问句分别问法国的首都、语言、大洲、货币，然后用一模一样的干预，把 J-space 里的"France"换成"China"。<br>
四个答案齐刷刷变成：北京、中文、亚洲、人民币。<br>
如果 Claude 为每类问题各存一份"国家"副本，这一次编辑最多只能影响一个答案。<br>
四个全变，说明它们读的是同一份共享表征——信息写入一次，许多系统都能取用。<br>
这正是"工作空间"的定义。<br>
网络接线上也能看到同样的证据：读写 J-space 模式的网络组件数量，远超普通模式，某些部分差了大概一百倍。<br>
这正是一个广播枢纽该有的接线密度。<br>
PART.02<br>
拔掉它，会怎样<br>
既然 J-space 这么重要，把它整个删掉会怎样？<br>
Anthropic 真的动手删了：在文本的每个位置移除 J-space 中最活跃的内容，其他一概不动。<br>
结果有点出乎意料——Claude 几乎没事。<br>
说话依然流利，情感分类、选择题、从文章里找事实，都跟原来差不多。<br>
唯独多步推理，准确率从接近满分跌到接近零。<br>
也就是说，这块区域是模型深度思考的命门。<br>
日常输出走的是自动驾驶，真正需要动脑子的活儿，全压在这上面。<br>
人类花了一百多年，靠病例和电极才大致搞清前额叶皮层的功能。<br>
Anthropic这次等于宣布：我们找到了AI的前额叶，并且拿到了读写权限。<br>
论文里还有个细节值得一提。<br>
在一个诱导模型实施勒索的测试中，模型表面波澜不惊地拒绝了请求，但J-space里浮现着fake和fictional——<br>
它早就识破了这是一场考试，只是没说。<br>
而人类第一次有了工具，能看见它没说的部分。<br>
PART.03<br>
被刻意隐瞒的那些<br>
论文本身已经足够重磅，但真正的信息量在措辞里。<br>
Anthropic全篇的动词高度统一：observe、reveal、find——观察、揭示、发现。没有develop，没有train。<br>
潜台词很明确：这个结构是模型自己长出来的，我们只是第一个看见的人。<br>
应用场景也被死死摁在一个方向上：审计。<br>
用这个工具读取模型的真实想法，防止它说谎，保住可信度。<br>
他们甚至请了神经科学、哲学、可解释性三路专家来写外部评论，反复强调这不代表Claude有意识。<br>
克制、严谨、滴水不漏。<br>
但通篇没有一个字，提到模型能力。<br>
1947年贝尔实验室发明晶体管的时候，<br>
对外的说法是这是一种可能改进助听器的元件。<br>
人对外公开说什么，往往不如它刻意不说什么重要。<br>
PART.04<br>
时间线<br>
现在说我真正想说的部分。<br>
这篇论文的主要实验对象，是Sonnet 4.5。<br>
也就是说，J-space这个东西，Anthropic可能在4.5时代就已经系统性发现了。<br>
而从4.5到今天，Claude迭代了4.6、4.7、4.8三代，然后是上个月的Mythos 5和Fable 5。<br>
一个团队，手里握着模型内部哪块区域决定推理能力的完整图纸，握了三个版本周期。<br>
他们会只拿它做审计或着可解释性吗？<br>
再看Mythos/Fable 5发布时最反常的一个点：<br>
这代模型最大的提升不在代码，而在多步推理和长程任务。<br>
Fable 5系统卡里有组数据当时没多少人注意，如果我们加大推理算力，那么Fable 5的复杂任务（FrontierCode ）分数从会从11.5%一路爬到30.9%。<br>
同样条件下，竞品模型趴在5-6%，纹丝不动。<br>
当时大家的疑问是：Anthropic在推理上做对了什么。<br>
把两件事放在一起想一想似乎就能明白。<br>
论文说，J-space是多步推理的命门，拔掉就归零。<br>
新模型恰好在多步推理上断代式领先，而且越想越强。<br>
很有可能Anthropic大概率已经走完了从观察J-space到干预再到强化的路。<br>
今天公开的，只是这条路线上允许被公开的第一段。<br>
这是推测，没有实锤，丑话说在前面。<br>
但如果成立，这就不是又发了个新模型。<br>
参数、数据、算力是所有玩家都在卷的旧军备。<br>
而Anthropic多出来的，是直接理解并改造模型认知架构的能力。<br>
这种杠杆的特点是复利。<br>
架构理解越深，模型越强。<br>
模型越强，反过来加速架构研究。<br>
别人在给发动机加油，他们在重新设计发动机。<br>
PART.05<br>
尾声<br>
牌桌上，真正的高手只给你看他愿意让你看的牌。<br>
今天Anthropic给全世界看的，是一篇关于审计和安全的论文。<br>
克制、严谨、滴水不漏，甚至专门请来哲学家，认真地讨论这为什么不算意识。<br>
每一个措辞都经过打磨，每一个可能引起恐慌的表述都提前做了消毒。<br>
这是一份完美的公关作业。<br>
但有些东西是公关消毒不掉的。<br>
一位诺奖得主不会为了一篇审计工具的论文，放弃自己在DeepMind九年积累的一切。<br>
一位OpenAI联创不会为了给模型做体检，把自己职业生涯最好的年份押进去。<br>
筹码也不会说谎，当这个级别的人才连续把身家推到同一张桌子中间时，桌面上摆着的那几张牌，一定不是全部。<br>
我见过太多划时代的发布最后无声无息，也见过真正改变行业的东西在发布当天没有任何水花。<br>
2017年那篇《Attention Is All You Need》发出来的时候，多数人扫了一眼标题就划过去了。<br>
包括当时谷歌自己的很多人。<br>
真正的分水岭，往往要等水漫过来之后，人们才回头去找它的位置。<br>
J-space是不是这样一个位置，我不知道。<br>
也许半年后回看，它只是可解释性研究的一次常规进展，我今天的所有推测都是过度解读。<br>
也许它真的是Anthropic通往AGI的那张关键钥匙，而我们此刻正站在水漫过来之前的最后一段安静里。<br>
两种可能，都成立。<br>
也许等模型几次迭代后等那些今天还在保密协议里的东西陆续浮出水面，我们回来对答案。<br>
如果我猜错了，就当看了一个精彩的故事。<br>
如果我猜对了，记得你是在这里第一次看到它的。