Full text · 原文
1,546 字
鱼羊 发自 凹非寺<br>
量子位 | 公众号 QbitAI<br>
字节Seed最新研究，让大模型能“原地改参数”了。<br>
既不用改模型结构，也不用重新训练，还跑得很快。<br>
具体是这么个情况。智能体时代嘛，大家都知道模型们面对的任务开始变得越来越复杂、上下文越来越长。<br>
如何让大模型边干活边学习，不断适应新的信息，而不是在超长上下文中逐渐崩溃，已经成为AI圈研究的一大重点。<br>
测试时训练（TTT）让模型能够在推理时更新部分参数，但实际应用时，问题仍然很复杂：<br>
首先，架构不兼容。现有的TTT需要引入全新的网络层，甚至替换注意力机制，导致必须从头开始做预训练。<br>
其次，计算效率低。现有的TTT采用一个Token一个Token的顺序更新，无法充分利用GPU/TPU的并行计算能力。<br>
还有优化目标不匹配的问题。现有TTT多采用重建目标（reconstruction），只让模型记住当前的词，而不是为了预测下一个词设计。也就是说，与语言模型核心的“预测下一个Token”的任务不匹配。<br>
针对这些问题，来自字节Seed和北京大学的研究团队想到了一个小妙招：<br>
不新增层，也不改架构，直接把Transformer里本来就有的MLP模块，当成大模型的“临时小脑”。<br>
这个名为In-Place TTT（原地测试时训练）的方案，让TTT可以作为即插即用的模块，无缝集成到现有的预训练大模型中。<br>
实验证明，Qwen3-4B、Llama3.1-8B、Qwen3-14B在装备In-Place TTT之后，都原地变强了，并且在长文本任务上提升尤为明显。<br>
这篇论文已经中了ICLR 2026 Oral。<br>
让大模型在推理时“原地改参数”<br>
话不多说，还是来看论文的详细内容。<br>
In-Place TTT核心要解决的问题，是在不折腾模型架构的前提下，让大模型在推理/回答问题时，也能悄悄更新自己，适配当前的上下文。<br>
实现即插即用，字节Seed和北大的研究人员主要做了3点创新。<br>
原地架构设计<br>
在In-Place TTT中，研究人员巧妙地复用了Transformer中无处不在的MLP（多层感知机）。<br>
他们将MLP的最后一个投影矩阵Wdown作为快速权重（fast weights），在推理时进行原地更新。<br>
这样就无需引入新的专用层来处理快速权重。已经训好的大模型也可以拿来直接用，不必重新训练。<br>
语言模型对齐的优化目标<br>
原来的TTT只让模型“记住当前Token”，前文已经提到，这与语言模型的优化目标是不一致的。<br>
为此，In-Place TTT设计了专门针对自回归语言模型的优化目标：<br>
通过引入一维卷积（Conv1D）和投影矩阵，使TTT的目标值包含了未来 Token的信息，从而显式地与“预测下一个Token”的任务对齐。<br>
研究人员还分析证明，这种做法能促使快速权重压缩对未来预测有用的信息，从而有效提升模型的上下文学习能力。<br>
高效的块级更新机制<br>
In-Place TTT是对MLP进行改造，保留了原有的注意力层，这就使得该方法可以实现分块更新，不用再逐Token去处理。<br>
结合上下文并行技术，In-Place能实现更高的吞吐量和计算效率，支持更长的上下文。<br>
实验表明，In-Place TTT能大幅提升现有模型（如Qwen3-4B）在128K甚至256K长上下文任务中的表现。<br>
在从头训练的对比中，也优于其他TTT方法。<br>
研究团队<br>
In-Place TTT的论文一作是冯古豪和罗胜杰。<br>
冯古豪目前就读于北京大学，是字节Seed的实习生。<br>
罗胜杰同样毕业于北大，师从王立威教授和本文通讯作者贺笛教授。<br>
本文的另一位通讯作者是字节Seed的Wenhao Huang。<br>
论文地址：<br>
https://arxiv.org/abs/2604.06169v1