Full text · 原文
3,645 字
编辑｜Panda<br>
太离谱了！<br>
是的，本文的主角还是前些天刚发布了 Claude Fable 5 的 Anthropic。<br>
Fable 5 发布时的排面是真的足。SWE-Bench Pro 得分 80.3%，把第二名甩出 11 个百分点；Andrej Karpathy 直接喊出「deserves a major version bump」；Stripe 拿它在 5000 万行 Ruby 代码库里跑了一整天的迁移，顶上了原本需要整个团队两个月才能完成的工作量。势头之猛，让人一度以为 AI 编程进入了新纪元。<br>
然而，Fable 5 刚开香槟，就被自己的「安全护栏」绊了个大跟头。<br>
其系统卡中明确表示，Fable 5 被设计成：一旦检测到用户正在从事前沿 AI 研发工作（比如训练流水线、分布式训练基础设施、ML 加速器设计），模型会悄悄降低自己的回答质量——而且不通知用户。也就是说，你花着 Fable 5 的钱，收到的可能是 Opus 4.8 级别的活，还没有任何提示。<br>
Anthropic 为此用了提示词修改、转向向量等技术手段，让模型在特定查询下悄悄变笨，整个过程对用户完全不透明。<br>
这一操作在研究社区炸了锅。许多学者和开发者纷纷发声批评，称此举严重损害了用户信任，本质上是背刺付费用户。舆论压力之下，Anthropic 被迫在发布后数小时内宣布政策调整：还是会降智，只是不再偷偷来了——触发安全拦截时，模型将明确通知用户，并切换到 Opus 4.8 进行回答。至少他们是这么说的。参阅《刚刚，Anthropic 道歉了》。<br>
然后，更尴尬的来了。<br>
也正因为 Fable 5 现在的降智操作变得「透明」了，一些有趣的情况随之浮出水面。<br>
其中最让人无语的，就是 Fable 5 在 ProgramBench 基准测试上的「表现」。<br>
ProgramBench 来自大名鼎鼎的 SWE-Bench 作者团队，专注于「从编译后的二进制文件重建源代码」这一高难度任务，一上线就把当时的前沿 AI 模型全部清零：Claude、GPT、Gemini，无一幸免，完成率清一色 0%。此前我们曾报道过《0%完成率！Claude、GPT、Gemini 全灭，SWE-Bench 作者新作把 AI 圈干沉默了》。<br>
那么，Fable 5 成绩如何呢？<br>
不是 0 分。是拒绝作答：200 道题，全部拒绝！<br>
ProgramBench 之所以没有 Fable 5 的成绩，是因为「重建编译后的二进制文件」这一操作触发了 Fable 5 的网络安全分类器。说白了，Fable 5 看到这道题，判定其涉及「二进制逆向」，打了个安全警报，直接拒绝作答。而且 200 道，一道不落。<br>
有趣的是，Fable 5 在其他编程基准上可是一点不含糊的，都能好好答题。<br>
Fable 5 在不同基准上的成绩和排名<br>
然而，就在这份弃考成绩单提交之后，ProgramBench 排行榜做了一个让人目瞪口呆的决定：综合其他基准表现，仍然将 Fable 5 列在了榜首。<br>
一个字都没答的考生，坐了第一名的座位。这大概是 AI 评测史上头一遭：弃考也能登顶榜单。<br>
当然，这操作很快引来了四面八方的异议。有人直接发问：正经考试怎么交了白卷还能得第一名？应该直接给零分才对。<br>
这也让很多网友吐槽其护栏太高，以至于难以实际应用：<br>
顺带一提，有网友还发现，Fable 5 在英文输出中依然会偶发性地夹杂汉字，这个老毛病到了这一代还没彻底根治。<br>
事实上，Fable 5 的「过度拒绝」问题并非首次出现在 Claude 家族。<br>
早在 Claude 3 Opus 时代，研究人员就发现该模型在面对安全测试题目时，会在解题进行到一半时突然罢工，以「伦理顾虑」为由拒绝继续作答。Claude 3.5 Sonnet 也曾被记录到在结构化 bash 任务中以「制作 payload 涉及执行命令」为由直接拒绝。<br>
Fable 5 的问题究竟出在哪里？<br>
回到 Fable 5 本身。根据目前披露的信息，它的「护栏系统」采用了两级架构：一个探针实时监控模型的内部激活状态，对所有流量进行扫描；一旦触发警报，请求会被上报给一个独立训练的 LLM 分类器做最终裁决。<br>
https://www-cdn.anthropic.com/d00db56fa754a1b115b6dd7cb2e3c342ee809620.pdf<br>
这套系统拦截的领域，涵盖网络安全、生物化学，以及前面提到的前沿 AI 研发。以 Terminal-Bench 2.1 为例，约 20.9% 的测试用例触发了安全拒绝并回退到 Opus 4.8。<br>
ProgramBench 的「二进制重建」任务，在分类器眼里，大概和「逆向工程恶意软件」没有太大区别，于是 200 道题统统被挡在了门外。<br>
Vals AI 在实测中也发现，Fable 5 在生物和网络安全相关问题上的拒绝率明显偏高，以至于他们不得不将 Opus 4.8 配置为默认兜底模型。也就是说，Fable 5 拒绝的任务，就让 Opus 4.8 来接。<br>
技术上这套系统当然有其合理性。Fable 5 的前身 Mythos 级模型，在漏洞利用、进攻性网络操作等任务上展现出了让各国政府都坐不住的能力，这也是 Anthropic 一直将其列为受限模型的核心原因。给这样的模型套上严格的安全枷锁，似乎也有一点道理。<br>
但问题在于，当安全护栏的判断标准过于粗糙，「二进制逆向」这个本属于正常编程教学和安全研究的基础操作，就会被一视同仁地拦截。开发者为此付出的代价是真实的：要么换模型，要么改提示词，要么接受一个「什么都懂、很多都不说」的超能助手。<br>
顺便，还有另一份成绩单也值得一看<br>
Fable 5 发布后不久，UC Berkeley RDI 实验室（负责人 Dawn Song 教授）的团队完成了对它的评测，用的是他们自己做的新基准：Agents' Last Exam（ALE）。<br>
论文地址：https://arxiv.org/abs/2606.05405<br>
这个基准的出发点有点意思：它不考「AI 能不能在 HumanEval 里写出两行代码」，而是直接对齐真实劳动力市场，覆盖 55 个职业方向、1500+ 道真实工作场景题目，由来自 100 余家机构的 300 余位行业专家贡献，全部按可验证的结果计分。说白了，就是让 AI agent 去考一场「职场模拟高考」。论文发布当天就登上了 Hugging Face Daily Papers 第一名。<br>
评测结果如何？Fable 5 的得分是 22.0%，排在 GPT-5.5（Codex）的 24.0% 之后，位列第二。听起来差距不大，但成本项就有点扎眼了：Fable 5 平均每道题花费约 15.70 美元，GPT-5.5 只需 3.80 美元，另一个模型 Composer 2.5 更是只要 1.33 美元。换句话说，Fable 5 每解一道题的成本，大约是 GPT-5.5 的四倍。<br>
最有意思的，还是最高难度那一档，即「Last-Exam」，也就是 ALE 里专门为「前沿 agent 挑战极限」设计的题目。结果是：除了 GPT-5.5，包括 Fable 5 在内的所有参评的前沿 agent 通过率均为 0%。更多详情请参阅《Claude Fable 5最难档零分！智能体的最后考试来了》。<br>
排行榜备注说明：claude-fable-5——除了彻底的访问限制（我们只是不断重试运行直到任务顺利完成），Anthropic 还可能默认悄无声息地提供该模型的一个降级版、低能力变体。重试无法纠正这一点，因此这里的数据可能低估了其真实能力——解读时需谨慎<br>
ProgramBench 拒绝作答是 0%，ALE 最难档努力作答也是 0%。不同的姿态，一样的结局。<br>
结语<br>
弃考但排名第一，这个荒诞结果背后，其实暗藏着一个正在撕裂 AI 行业的根本矛盾：能力越强，护栏越紧；护栏越紧，可用性越差。<br>
Anthropic 的处境尤其典型。它拥有（按自家说法）当下最强的编程模型，却同时在替用户决定哪些编程任务「可以做、哪些不能做」。而那条边界，目前还画得相当模糊。<br>
“特别声明：以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布，本平台仅提供信息存储空间服务。<br>
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”