Full text · 原文
1,622 字
闻乐 发自 凹非寺<br>
量子位 | 公众号 QbitAI<br>
都说苹果AI慢半拍，没想到新研究直接在Transformer头上动土。（doge）<br>
「Mamba+工具」，在Agent场景更能打！<br>
在最新论文《To Infinity and Beyond》中，研究团队发现：<br>
在长任务、多交互的Agent式任务中，基于SSM架构（状态空间模型）的模型，比如Mamba，在效率与泛化能力上，展现出超越Transformer的潜力。<br>
Mamba一作表示：<br>
超越Transformer，怎么说？<br>
Transformer的长篇累牍问题<br>
先说说Transformer的“富贵病”。<br>
Transformer确实很聪明，靠自注意力机制能够同时关注输入序列中所有词语之间的关联，比如阅读文章时可以快速建立首尾关键信息的联系。<br>
但这种能力的实现需要较高的计算成本，随着输入序列长度的增加，其计算量会呈平方级增长。<br>
例如，输入1000个词时，需要处理1000×1000=100万次词对关系；<br>
要是处理有上万个词的长文档，计算量会达到亿级，这对普通GPU来说是不小的负担。<br>
而这种计算成本过高的问题还会引发连锁反应：<br>
首先是处理延迟显著增加。在长序列任务中，模型的响应速度会大幅下降；<br>
其次，在Agent类任务中表现不佳。Agent任务通常需要动态决策与迭代优化的能力，而Transformer在每一步操作中都需重新计算全局注意力，这就会导致整体效率偏低，难以满足此类任务对实时性和灵活性的需求。<br>
相比之下，Mamba则采用了更为轻量化的设计思路。<br>
「Mamba+工具」更高效<br>
作为状态空间模型（SSM）的一种，Mamba不依赖全局注意力机制，而是通过持续更新的内部状态来理解输入信息。<br>
有点像人写流水账，只记最近进展，不翻旧账。<br>
这种机制带来了三项显著优势：<br>
计算量随序列长度呈线性增长<br>
例如处理1000个词仅需对应数量级的计算，远低于Transformer的消耗；<br>
支持流式处理<br>
能够边接收输入边进行计算，无需等待完整序列加载完毕；<br>
内存占用保持稳定<br>
不会随序列长度增加而显著上升，在效率方面表现突出。<br>
不过，Mamba也有个明显局限：内部状态的存储容量有限，在处理超长序列任务时，早期信息容易被后续输入覆盖，导致模型对前文关键信息的保留能力较弱。<br>
针对这一问题，苹果团队提出了新方案——通过引入外部工具扩展模型的信息处理能力。<br>
比如算数学题时用指针工具记数字、存进位；修代码时用文件查看工具反复读代码、用运行工具测报错……<br>
这些工具可以在任务执行过程中提供辅助，相当给模型提供了可动态调用的外部存储和交互接口。<br>
这样做的结果就是，引入工具后Mamba的性能得到显著提升：<br>
在多位数加法任务中，配备指针工具的Mamba展现出良好的泛化能力，经过5位数加法训练后，能够稳定处理1000位数的计算，准确率接近100%，而Transformer在处理20位数时已出现明显误差；<br>
在代码调试任务中，让Mamba模拟交互式调试流程（查看文件、局部修改、执行验证的迭代方式），面对复杂度高于训练集的代码库，其正确率显著高于Transformer；<br>
在逻辑推理及汉诺塔等需要分步规划的任务中，结合工具的Mamba能够应对更复杂的问题场景，Transformer则要么算得慢，要么直接卡壳……<br>
可以看出，Transformer聪明但慢，做事情讲究从头到尾一步到位，遇上需要反复调整的Agent式任务，就显得又贵又笨重；<br>
Mamba反应快但记性差，但装上外置大脑后补足记忆短板后，效率嘎嘎提升。<br>
这么一看，「Mamba+工具」的组合可能真要在Agent场景下抢Transformer的风头了。<br>
论文地址：https://arxiv.org/pdf/2510.14826<br>
参考链接：https://x.com/_albertgu/status/1980287154883358864<br>
— 完 —