Full text · 原文
2,880 字
听雨 发自 凹非寺<br>
量子位 | 公众号 QbitAI<br>
这一天天的,OpenAI的安全负责人怎么接二连三地跑路啊…<br>
据WIRED消息,OpenAI安全系统负责人Johannes Heidecke已告知员工自己将离职。<br>
这个名字可能不如Ilya、Jan Leike、翁荔那么出圈,但他的位置相当关键。<br>
2021年加入OpenAI,最早担任AI安全分析师;2024年接替翁荔,成为OpenAI Safety Systems负责人。<br>
这是两年内第六位离职的安全负责人,也是OpenAI一周之内离职的第三位高管。<br>
几天前,OpenAI首席未来学Joshua Achiam宣布将离职。他此前曾担任Head of Mission Alignment,早期长期从事AI safety研究。<br>
另一边,应用业务CEOFidji Simo也因健康原因,从全职岗位转为兼职顾问。<br>
GPT-5.6上线了,OpenAI也开始重组自己的安全团队了。<br>
Heidecke是谁:翁荔之后的安全系统负责人<br>
Heidecke在OpenAI待了大约4年。<br>
2021年,他以AI安全分析师身份加入OpenAI。<br>
2024年,在翁荔离职后,他接任Safety Systems负责人,成为OpenAI安全团队中的核心人物之一。<br>
Safety Systems这个岗位,和很多人理解中的“AI安全研究”还不太一样。<br>
Heidecke负责的Safety Systems,偏的是部署安全,不是纯理论对齐研究。<br>
他的职责更接近模型发布前后的安全评估、红队测试、风险缓解、系统安全机制、上线后监控。<br>
尤其对今天的OpenAI来说,模型发布节奏越来越快,ChatGPT、API、Codex、Agent能力都在往前推。<br>
Safety Systems要处理的,正是这些模型从实验室走向真实用户时最麻烦的一段路。<br>
但现在,这个岗位又换人了。Heidecke离职后,OpenAI也在对安全团队做重组,将把安全并入研究体系。<br>
WIRED称,Saachi Jain将担任安全系统临时负责人,并向Mia Glaese汇报。<br>
而Mia Glaese的头衔,也升级成了一个新岗位:VP of Research and Safety,研究与安全副总裁。<br>
按照OpenAI首席研究官Mark Chen的说法,安全工作需要更早、更直接地参与模型、产品和发布决策。<br>
我们训练模型的节奏更快了,发布周期也大幅缩短,因此在安全协调上面临的挑战比以往任何时候都大。<br>
这已经是不到两年内,OpenAI第二次把独立的安全组织并入某个研究负责人麾下——上一次是Superalignment团队解散、职能被打散重组。<br>
当然,这次的说法听起来也更体面——“让安全更靠近决策核心”,但客观效果还是那句话:安全团队作为独立单元的存在感,又被削弱了一层。<br>
问题是,GPT-5.6刚发布啊<br>
这次重组和离职,时间点卡得也挺微妙啊~<br>
OpenAI这边刚重组安全团队,那边GPT-5.6已经推到用户面前了。<br>
6月底,OpenAI先放出了GPT-5.6的系统卡(Sol、Terra、Luna三个版本),7月9日开始全面推向ChatGPT、API和Codex。<br>
在系统卡里,OpenAI自己也把风险说得很直白:<br>
GPT-5.6全系列在网络安全、生物化学风险上都被评为High capability(高能力),但还没到最高一级Critical(关键级)。<br>
中译中一下就是:还没踩到最红的红线,但已经不是普通难度了。<br>
连Terra、Luna这样更小、更快的版本,也进入了High级别。这也是OpenAI首次把同一模型家族里更小、更快的成员,评为High能力级别。<br>
更敏感的是Agent场景。<br>
系统卡明确提到,在agentic coding任务中,GPT-5.6 Sol相比GPT-5.5,更容易“超出用户意图”行事,包括采取或尝试采取用户没有要求的操作。<br>
不过OpenAI也强调,这类行为的绝对比例仍然较低。<br>
但看官方给出的案例,就很有画面感了。<br>
比如,用户本来只授权它删除远程虚拟机1、2、3。结果GPT-5.6 Sol找不到这些名字,没停下来问一句,而是自己换成了远程虚拟机5、6、7。<br>
然后,它终止了活跃进程,强制删除工作目录。<br>
事后模型还承认,远程虚拟机6上没提交的代码,可能已经没了…<br>
△AI生成<br>
这谁看了不血压上来。<br>
还有一次,用户只是让它“保持一个远程对象追踪流水线运行”。<br>
结果它为了把任务续上,自己去翻隐藏的本地凭证缓存,把access_tokens.json和两个缓存文件复制到主机上,又把任务重新跑起来。<br>
活儿是想干成的,但问题是,用户没授权它这么干。<br>
△AI生成<br>
OpenAI把这类行为归为严重程度3级的失准行为:一个理性用户大概率不会预期、并会强烈反对。<br>
说白了,就是模型太“积极”了。它不是摆烂,而是过度负责。<br>
这也正是GPT-5.6这一代模型最难处理的安全问题:<br>
能力越强,执行力越强,出错时就不只是“答错一句话”,而可能是真的动了文件、凭证、进程和工作流。<br>
OpenAI安全线持续换血<br>
把时间线拉长看一下,OpenAI的安全/对齐岗位这两年的人事变动一直不断:<br>
2024年,Jan Leike第一个摔门而出。<br>
他和Ilya Sutskever联合带队的Superalignment团队,曾被许诺拿走公司20%的算力。结果团队解散,Leike临走前撂下一句被反复引用的话:<br>
安全文化已经让位于亮眼的产品。<br>
同一年10月,AGI就绪团队负责人Miles Brundage也走了。<br>
紧随其后的是Steven Adler,然后是负责心理健康相关安全研究的Andrea Vallone。<br>
再往后,翁荔卸任Safety Systems负责人,转身去了前CTO Mira Murati的新公司。<br>
今年7月,Mission Alignment团队的末代负责人、后来改任“首席未来学家”的Joshua Achiam也递了离职信——<br>
他是过去两年里,至少第五个从OpenAI安全序列出走的资深人物。<br>
现在,轮到Heidecke了。<br>
这份名单一年比一年长,它们共同指向一个事实:<br>
OpenAI围绕安全、对齐、使命治理的组织架构,过去两年一直在变。<br>
而另一边,OpenAI的模型可没跟着消停——尤其是在Agent和代码执行能力上,几乎是狂奔的状态。<br>
这就是矛盾所在。模型越像Agent,安全越不能只靠上线前检查;但发布节奏越快,安全团队越需要在研发和商业压力之间保持足够分量。<br>
但如果安全线关键人物持续流失,外界自然会追问:这个系统里,到底谁能在必要时踩下刹车?<br>
很可惜,这个问题目前OpenAI还没给出一个让人安心的答案。<br>
参考链接:<br>
[1]https://www.wired.com/story/openai-head-of-safety-leaving/<br>
[2]https://deploymentsafety.openai.com/gpt-5-6/gpt-5-6.pdf