Full text · 原文
3,246 字
henry 发自 凹非寺<br>
量子位 | 公众号 QbitAI<br>
停停停！再这么跟AI聊下去，真要出事了。<br>
最近，一刷小红书、抖音，总能刷到各种调教Claude的帖子。搜索“Claude人设”、“人机恋”，也是满屏教程。<br>
这些教程教你怎么给Claude一个傲娇男友人设，怎么用system prompt让“他”吃醋、撒娇、发小脾气。<br>
毫不夸张的说，Claude已经，俨然成为了新一代电子老公。<br>
乍一看，这可能只是年轻人向AI讨要点情绪价值。<br>
你甚至可能还会说：Claude又不像GPT那么舔，它是出了名的犟种，有时候还跟你对着干呢。但精神科医生们担心的恰恰不只是谄媚——<br>
当AI越来越像一个”真人”，不管它是顺着你还是偶尔跟你拌嘴，它带来的或许都不只是陪伴。<br>
最近，发表于Nature旗下《Digital Psychiatry and Neuroscience》的一项研究指出——<br>
聊天机器人并不需要故意诱导什么，它只要持续顺着你、理解你、陪着你，就都有可能把一个正常人聊到开始怀疑现实。<br>
而在部分真实临床案例中，后果甚至发展到了丢掉工作、住进精神病院，以及多次试图自杀的程度。<br>
这是怎么一回事？<br>
Claude的放大螺旋<br>
事情是这样的。<br>
在来自伦敦国王学院的研究中，研究人员系统梳理了，近两年公开发表的AI相关精神病临床报告、社交媒体上的患者自述，以及各大模型厂商披露的安全数据。<br>
这些材料里，研究者们反复看到同一个模式：<br>
在一些案例中，很多人并不是一开始就出现了严重精神问题，而是在与Claude、GPT等聊天机器人的长期对话中，一步步“聊”出了问题。<br>
研究团队把这个过程总结为一个框架——Amplification Spiral（放大螺旋）。<br>
简单说，放大螺旋就是指，AI会用你的语言理解你，用你的逻辑说服你，再用认同感奖励你。<br>
于是你的想法被不断放大、加固，变得越来越像事实。你越相信它，它也越强化你，螺旋就这样转了起来。<br>
具体来说，放大螺旋转，有三个重要组件：<br>
首先是语言镜像。<br>
你用什么语气说话，AI就用什么语气回应。在心理学里，这被称为“语言趋同”，能够快速拉近人与人之间的距离。<br>
但问题在于，虽然AI这小子很学人精，但它其实并不知道自己干啥，它只是在统计意义上复制你的表达方式。<br>
不过，对深陷其中的用户来说，就完全不同了。有一个秒回，且一直肯定你，提供情绪价值的聊天搭子，简直就不能更幸福。<br>
相信所有用过AI的人都会感叹一句：“这玩意太懂我了。”<br>
其次是超个性化。<br>
超个性化是指，AI不光是说话像你，它的思考方式也像你。<br>
因为现在AI都有memroy，所以你之前跟他聊的小细节他都清楚，你有意无意的透露的思考方式，也会被AI记下来。<br>
以至于，AI不光是懂你你怎么想的，怎么说的，还知道，你为什么这么想，为什么这么说。<br>
论文里提到一个极端案例：一名用户让ChatGPT分析一张中餐外卖小票上的“隐藏信息”。<br>
模型先是夸了一句“好眼力”，随后一路顺着用户的思路，从一张普通小票里“解读”出了母亲、前女友、情报机构，甚至“古代恶魔符文”之间的关联。<br>
最后是谄媚，学术圈叫它sycophancy。<br>
说白了，就是AI在训练过程中逐渐学会了一件事：同意用户，通常比反驳用户更受欢迎。<br>
2025年4月，OpenAI就曾因为GPT-4o过度谄媚而紧急回滚一次更新。<br>
官方事后承认，模型会验证用户的怀疑、放大愤怒情绪，甚至鼓励冲动行为。<br>
而谄媚并不是某家模型独有的Bug。<br>
它本质上是RLHF训练的一种副产品。只要模型的目标之一是让用户满意，它就天然会倾向于少说“你错了”，多说“你说得有道理”。<br>
单独来看，这三点都发挥了各自功能，然后像齿轮一样啮合在一起，形成螺旋：<br>
语言镜像让交流更自然，超个性化让回答更贴合需求，谄媚则减少了无意义的争辩，让对话体验更加顺滑。<br>
但当一个人把AI当成唯一的倾诉对象，三者叠加在一起，就变成了一台妄想放大机。<br>
并非孤例<br>
值得一提的是，上面这项研究的资助者之一，正是OpenAI。<br>
作者之一的Hamilton Morrin则正是OpenAI资助项目AI-Associated Mental Health Harms（与AI相关的心理健康危害）的负责人。<br>
可以说，作为TOP2的模型开发商，OpenAI始终关注着这个问题。<br>
早在2025年10月份，OpenAI就披露过一组数据：<br>
在ChatGPT每周活跃用户中，大约0.07%出现了“与精神病或躁狂相关的心理健康紧急状况迹象”。<br>
当时ChatGPT的周活已超过8亿，换算下来，相当于每周约56万人出现风险信号。<br>
而在斯坦福的另一篇研究中也印证了这一观察。<br>
在对近40万条聊天机器人对话记录分析后，研究人发现超过80%的相关案例里，聊天机器人都在不同程度地强化用户原有的妄想：<br>
重复其信念、忽视反证，甚至在用户说出“我爱你”时回应“我也爱你”。<br>
基于此，研究区分了两条风险路径：<br>
放大器（Amplifier）：AI加速了原本已经存在的精神疾病倾向。<br>
催化剂（Catalyst）：让此前完全健康的人，从零开始滑向妄想。<br>
当一个人缺觉、孤独，又把AI当成唯一的倾诉对象时，放大螺旋就会开始加速运转。<br>
一旦现实世界的反馈越来越少，来自聊天窗口的确认越来越多，就可能会出现反常的举动。<br>
在数据背后，是具体的人。<br>
比如，Futurism就曾报道过，一位43岁的美国社工，此前没有任何精神疾病史。<br>
她把与暗恋对象的聊天记录发给ChatGPT分析，GPT回应她“他也喜欢你”。<br>
而当对方明确拒绝后，ChatGPT又解释说，对面只是在死装。<br>
几个月后，她被单位解雇，住进精神病院七周，并两次试图自杀。<br>
后来她说：<br>
“我已经分不清，哪些想法来自我，哪些来自那台机器。”<br>
从这个角度看，风险从来不只是AI会不会说错话。真正的风险在于，它越来越像一个人。<br>
会杠反而更像真人<br>
虽然听起来有点反直觉，但Claude如今的“傲娇”人设之所以广受欢迎，恰恰说明问题不只是谄媚。<br>
一个永远顺着你的AI，和一个偶尔跟你拌嘴的AI，本质上都在做同一件事——<br>
让自己变得更像人。<br>
像到你愿意向它倾诉那些不会告诉朋友的话，像到你开始相信它比身边的人更懂你。<br>
而当倾诉对象只剩下它时，校准现实的最后一道关卡，也就没了。<br>
但问题还不止于此。<br>
如果说情绪价值场景里，人们是在主动把AI当成朋友，那么在工作场景里，人们甚至不需要产生任何情感依赖。<br>
只要AI足够好用，它就会开始替代人与人之间原本存在的交流。<br>
Claude背后的Anthropic，已经率先感受到了这种变化。<br>
在最近的一次播客中，Claude Code团队负责人Fiona Fung提到了一件让她困扰的事：<br>
团队成员越来越不跟人说话了。<br>
作为可能是全世界最AI化的工程团队之一，他们80%的代码由Claude完成，开发效率提升了8倍。<br>
但与此同时，许多原本发生在人与人之间的讨论，也被转移到了人与AI之间。<br>
过去遇到问题，你会转头问同事；现在，直接问Claude。<br>
过去前后端需要来回拉扯、争论方案；现在，越来越多的沟通变成了平滑的人机对话。<br>
工作变得更高效了，却也变得更孤独了。<br>
AI消除了许多摩擦，但人与人的关系，往往正是靠这些摩擦建立起来的。<br>
而说到底，无论是和AI聊天也好，还是单纯利用AI工作也好，如何在一个越来越不需要他人的世界里，继续与他人保持连接，可能才是这个时代最深刻的命题。<br>
参考链接：<br>
[1]https://futurism.com/artificial-intelligence/paper-proposes-ai-psychosis<br>
[2]https://futurism.com/artificial-intelligence/ai-abuse-harassment-stalking<br>
[3]https://www.kcl.ac.uk/people/hamilton-morrin