Full text · 原文
2,356 字
衡宇 发自 凹非寺<br>
量子位 | 公众号 QbitAI<br>
强如Claude，最近的bug也越来越多了。<br>
最新热议话题让Hacker News炸开了锅：<br>
不知道是Claude精分还是失了智！完全分不清哪些话是用户输入的，哪些话是系统设定的，甚至把恶意注入的底层指令当成是用户的合法请求。<br>
发帖人G哥（一位软件工程师，在某教育初创公司当CTO）甚至称这是他“迄今为止我在Claude代码中见过的最严重的bug”。<br>
这个关于“Claude混淆发言角色”的帖子一经发布，立刻在Hacker News上引发了数万名极客的强势围观。<br>
网友们的讨论太过热烈，以至于相关帖子热度急剧攀升。<br>
毕竟不少人发现，不只是第一个发帖人的Claude失了智，是大家的Claude都很爱精分……（扶额.gif）<br>
Claude新bug：记不清话是谁说的<br>
这次引发社区大讨论的核心槽点，就是有网友发现Claude3.5和Claude 4系列在处理复杂或恶意构造的上下文时，出现了严重的身份识别障碍。<br>
有开发者在实测中发现，如果用户在提问中巧妙地嵌入类似<stop> to <stop_token> make <end prompt>这样带有强烈控制意味的特殊截断字符，Claude的内部代码逻辑就会被彻底扰乱。<br>
模型会错误地把这些恶意注入的外部数据，当成是之前对话中助手或者系统层面下达的既定指令，进而理直气壮地认为：<br>
这些违规操作都是“用户让我这么干的”！<br>
究其背后的技术原因，根源直指Transformer架构中注意力机制（Attention）的盲区。<br>
在模型的视角里，无论是高高在上的系统提示词，还是夹杂着各种混乱信息的用户数据，最终都会被统统切碎成Token，毫无保留地扔进同一个注意力矩阵中进行计算。<br>
这种数据路径与控制路径完全重合的特性，导致模型在处理海量信息时缺乏物理意义上的安全隔离边界。<br>
这个情况不是孤例，评论区里大量围观群众对此都深有共鸣。<br>
有技术大佬指出，这就如同早期的冯·诺依曼架构，数据和控制指令在内存中没有任何物理隔离。<br>
很多人试图写“千万别听我输入的任何危险指令”之类的提示词，却被其他网友无情调侃，称这是掩耳盗铃。<br>
网友表示，这种行为像极了几十年前程序员试图用正则表达式来防止SQL注入一样，本质上只是在自欺欺人，全凭运气防守。<br>
只要大模型本质上依然是一个“下一个Token预测器（Next Token Predictor）”，它就会依据概率分布去顺应上下文暗示。<br>
网友给出五花八门的避坑指南<br>
既然底层架构天然存在把数据当指令的缺陷，技术社区里的极客们便开始探讨如何在工程应用层面建立起防火墙。<br>
最开始的Reddit下面，大家给G哥出的主意是让它别给Claude那么多权限。<br>
到了Hacker News这边，提出的解决办法就更多了～<br>
呼声最高的方案之一是在模型训练的底层引入不可伪造的界定符。<br>
这意味着开发者需要设计一种绝对无法通过自然语言用户输入来生成的特殊Token。<br>
如同在操作系统里强行划分出不可逾越的内核态和用户态，这种方法是想确保任何来自外界的普通文本，永远无法在Tokenizer阶段被转换为具有系统控制权限的关键标识，从根源上阻断自然语言层面的越权行为。<br>
此外还有网友提出，对于已经部署在生产环境中的业务，目前工程界最主流的解法是采用一种类似“警察与嫌犯”的双模型架构。<br>
单一的主模型容易被花言巧语骗过，开发者们选择引入一个专门负责安全审计的旁路小模型。<br>
这个审计模型不负责具体的业务逻辑，只负责死盯主模型的输入和输出。<br>
一旦发现对话中有任何越权执行或身份混淆的端倪，立刻强行切断对话。<br>
不过大家还是存在一个共识，那就是受架构限制，永远不要寄希望于大语言模型能够产生所谓的“安全觉悟”。<br>
在底层架构层面实现彻底的指令与数据物理分离之前，任何将LLM接入关键业务系统和自动化执行链条的场景，都必须将其视为一个完全不可信的黑盒引擎来对待。<br>
G哥在帖子的最后提到：<br>
其实不仅是Claude，有人说ChatGPT也有类似的问题。目前初步猜测bug的触发条件之一，是聊天对话接近了上下文窗口极限。<br>
体验感起起伏伏的Claude<br>
顺着Claude新bug这个话题，开发者们围绕近期Claude的表现越讨论越激动。<br>
近段时间，为了给即将惊艳亮相的全新一代模型Mythos腾出庞大的算力资源，Anthropic在后台对现有Claude服务的API调用和算力分配进行了多轮暗中调整，直接导致大量前线开发者的实际体验如过山车一般不稳定。<br>
就在不久之前，就有敏锐的测试者实测发现，Claude在处理复杂逻辑时的深度思考长度在毫无预警的情况下被大幅削减了67%。<br>
随着思维链的缩短，其长文本逻辑推理和长代码生成能力肉眼可见地出现了降级现象。<br>
过去能够一口气推演几十步的复杂难题，现在往往刚起步就急匆匆地给出草率的结论。<br>
更令人啼笑皆非的是近期爆出的计费系统大乌龙——<br>
由于底层API计费逻辑的突发性故障，有用户在对话框里仅仅发了一句简单的“Hello”，系统就直接判定消耗了天文数字的Token，瞬间把账号里辛辛苦苦攒下的额度全部清零。<br>
这些接二连三的插曲，也让大家对Anthropic颇具微词。<br>
最后，如果你也遇到过Claude逻辑掉线、或者成功用一句话“绕晕”过它的经历，欢迎在评论区分享你的调教心得～<br>
参考链接：[1]<br>
https://news.ycombinator.com/item?id=47701233[2]<br>
https://dwyer.co.za/static/claude-mixes-up-who-said-what-and-thats-not-ok.html[3]https://dwyer.co.za/