BAAI's Orca Model Aims to Teach AI World Understanding Before Specific Task Training

Full text · 原文 4,498 字

允中发自凹非寺 量子位 | 公众号 QbitAI 今天的AI已经很会“输出”了。 语言模型预测下一个token，于是可以回答问题、写文章、写代码。 图像和视频模型预测下一帧，于是可以生成越来越逼真的视觉内容。 具身模型预测下一步动作，于是机器人开始能够完成抓取、放置、整理等任务。 但这些能力背后，仍然有一个更底层的问题：模型到底是在学会某一种输出，还是已经理解了世界状态本身如何变化？ 智源研究院悟界·RoboBrain Orca Team发布的技术报告Orca: The World is in Your Mind，想探索的正是这个问题。 项目主页：https://orca-wm.github.io 技术报告：https://arxiv.org/abs/2606.30534 悟界·RoboBrain Orca发布后，迅速获得了海外研究社区的关注。 多位研究者将其讨论重点，放在了“真正的多模态表征世界模型”上： Orca并不是把文本、图像、视频、动作简单拼接在一起，而是尝试在统一的世界潜空间中，学习它们背后的共同状态与演化规律。 也有评论认为，Orca更接近早期通用世界模型的形态，即先学习世界如何变化，再将这种世界表征读出到理解、预测和行动任务中。 △Orca在海外研究社区引发讨论：从多模态表征、世界状态建模，到早期通用世界模型的可能形态 与此同时，Orca也登上了Daily Papers月度榜单，并在Hugging Face、X等社区获得持续关注。 可以看到，世界模型正在成为下一阶段AI研究中被持续关注的重要方向。 △HF论文月榜排名第一 从Next token, Frame, Action Prediction到Next-State Prediction 悟界·RoboBrain Orca并非一个更会聊天的大模型，也不是一个单纯追求视觉真实感的视频生成模型，更不是一个只面向机器人的动作策略模型。 它想走的是一条更基础的路线： 先让模型学习统一的世界状态表征，再从这个表征中读出理解、预测和行动能力。 换句话说，Orca关注的是：当前世界处于什么状态，以及这个状态在自然演化、事件条件或外部干预下，会如何转移到另一个状态。 这就是Orca Team所探索的Next-State Prediction。 “我们不会让一个3岁小孩进工厂，打10万小时螺丝。”这是Orca Team解释这项工作时，用过的一个比喻。 这句话不只是在说机器人，也是在说今天很多AI模型的共同处境：语言模型被训练去预测下一个词，视频模型被训练去生成下一帧，具身模型被训练去模仿下一步动作。 它们看起来任务不同，但底层逻辑很像——一上来就把模型放进某个具体工位，让它围绕某一种输出反复练习。 这条路当然有效，但问题是，一个还没有理解世界的模型，真的能只靠“打螺丝”，走向通用吗？ Orca团队的判断是：顺序可能要反过来。别急着让模型学“下一步怎么动”，先让它上一堂关于世界的“义务教育”课。 先利用多模态世界信号学习好世界表征；再做好一切任务 这也是Orca的核心哲学：The World is in Your Mind. 悟界·RoboBrain Orca如何学习世界变化？ 人在不会讲话之前，就能通过看学习到客观的世界，例如风吹叶落；在成长中，人类还可以通过一句话、一本说明书感知并理解具体事件。 Orca将它们抽象为两类互补的学习方式：无意识学习和有意识学习。 第一类是无意识学习。 模型从连续视频中学习自然、稠密的状态变化，不依赖显式语言标注。 比如一个物体如何移动，手与物体如何接触，场景如何随时间演化。这类学习对应真实世界中大量连续观察，帮助模型捕捉自然动态。 △图片为AI生成 第二类是有意识学习。 模型引入语言和事件，让状态转移不只来自连续观察，也可以被语义条件约束。 语言可以描述一个事件、一个任务意图，或一个要达到的目标状态。模型需要在当前观察和语言条件之间建立联系，学习稀疏但更有意义的状态变化。 两类学习共同服务于同一个目标：构造一个能够表达世界状态、并支持状态转移建模的world latent。 12.5万小时视频、1.6亿事件助力模型学习世界 Orca Team构建了自动化筛选、标注管线，从海量的互联网数据中处理后，得到了12.5万小时视频、1.6亿条事件标注和1150万条VQA的数据库存。 这些数据共同构成了Orca学习状态转移的基础。 这些数据覆盖第一视角交互、第三视角物体操作、机器人执行视频、自然动态场景、事件级状态转移和通用视觉问答等多种来源。 换句话说，Orca并不是只在机器人轨迹、图像编辑任务或单一问答数据上训练，而是从更丰富的真实世界信号中学习统一的世界潜空间。 基础设施优化：FlagScale带来4.4倍加速 智源团队基于自研的FlagScale框架进行了系统级重构： FSDP2升级：实现更灵活的参数与优化器状态分片，并对轻量级视觉块取消分片以减少调度开销； 分块交叉熵损失（Chunked Cross-Entropy Loss）：避免在前向传播中一次性实例化完整的Logits张量，大幅降低显存峰值； 前向/后向预取（Forward/Backward Pre-fetching）：让FSDP的All-Gather通信与当前层的计算充分重叠。 在H100集群上，这些优化将训练吞吐量从StarVLA基线的0.66提升至2.91 Samples/Sec/GPU，实现了4.4倍的显著加速。 One for All：一个world latent，统一承载理解、预测与行动 世界表征听起来很诱人。但真正重要的问题是：它能不能被验证？ Orca的实验设计，围绕两个问题展开： 第一，随着预训练数据增加，world latent会不会变强？ 第二，一个更强的world latent，能不能带来更好的下游能力？ 为了回答这两个问题，团队没有把Orca backbone和下游任务一起端到端训练到最强。 相反，他们在下游阶段冻结Orca backbone，只训练轻量的readout模块，这样做很关键。 如果整个系统一起训练，最后效果变好了，很难判断到底是Orca的world latent有用，还是后面的decoder或policy自己重新学会了任务。 但如果backbone保持冻结，只换不同的轻量读出接口，仍然能读出语言、图像和动作能力，就更能说明：真正提供信息的是Orca学到的世界表征。 因此，Orca设计了三类readout： 文本读出，用于验证模型能否把世界表征转成理解和推理能力。 图像读出，用于验证模型能否根据当前状态和条件，预测未来视觉状态。 动作读出，用于验证模型能否把世界表征迁移到真实机器人控制中。 这三类能力分别对应：理解、预测、行动，也就是一个世界模型最应该具备的三件事。 Scaling带来的，是更强的世界表征 实验中，一个重要观察是：随着预训练数据规模增加，Orca的训练损失持续下降，没有很快饱和。 更关键的是，从不同训练阶段取出的checkpoint也显示出：随着预训练推进，文本、图像和动作readout的表现同步提升。 这说明Orca探索了一条具有扩展潜力的世界学习路线。 值得注意的是，所有对比结果均来自于一套预训练主干ckpt，并且没有使用一条刷榜数据。 文本读出：关注“世界如何变化” 在文本生成和视觉问答任务中，Orca与多类视觉语言模型和世界模型进行了对比。 结果显示，在4B规模下，Orca在多项综合评测中取得了更高的平均表现。 但更值得注意的是，它的提升并不是平均分的简单堆高，而是集中体现在状态转移、事件演化、动态运动理解等维度上。 这很符合Orca的出发点：让模型理解画面中的事物接下来会如何发展、事件之间如何推进、当前状态和未来状态之间有什么关系。 对于一个世界模型来说，这比普通视觉问答更关键。 因为真实世界不是静态图片的集合，而是一个持续变化的系统。 图像读出：不是成为一名“画家”，而是为了预测得合理 这和传统图像生成不是一回事。 很多图像模型擅长生成视觉上精美、符合先验的画面。 但真实交互预测要求模型尊重当前场景、物体关系、动作条件和物理约束： 它不能随意补出一个看起来合理但并不存在的物体。 不能让机器人本体消失。 不能破坏原本的空间关系。 也不能忽略指令真正要求的状态变化。 在真实交互场景中，Orca的图像读出更强调“未来状态是否合理”。 它能更好地保持机器人形态、物体布局、场景一致性和指令约束，生成更符合真实交互过程的下一状态。 所以，Orca展示图像读出，并不是为了证明自己会“画图”，而是为了把图像作为一种可视化验证：模型是否真的知道，当前世界在某个条件下应该变成什么样。 △现有的图像生成模型存在着指令不遵循、凭空出现物体和人手，以及刻板的物理印象 最惊喜的是具身：预训练没看过action，也能帮机器人 悟界·RoboBrain Orca最值得关注的实验之一，来自真实机器人动作读出。 在预训练阶段，Orca没有使用带action label的机器人轨迹。 也就是说，它没有提前学习某个机械臂应该如何移动，也没有在大规模动作数据上模仿机器人策略。 但在下游动作任务中，团队冻结Orca backbone，只接入一个从零训练的DiT-style Action Expert。每个任务只使用200条域内轨迹进行后训练。 二元成功率、白盒过程打分和黑盒模型打分结果显示，在物体泛化和场景泛化的OOD任务中，Orca仍然能带来明显增益。 这件事的重要性在于：Orca并不是通过预训练直接记住机器人动作，而是先学到的是世界状态变化。 尤其是在失败恢复上，这一点更明显。 三类训练目标，缺一不可 为了进一步分析Orca的能力来源，团队还做了消融实验。 分别移除无意识状态转移、有意识事件转移和VQA语言监督，观察文本、图像和动作读出的变化。 结果显示，三类目标各自承担了不同作用。 悟界·RoboBrain Orca还只是开始 悟界·RoboBrain Orca并不想把自己包装成“世界模型已经完成”。 相反，Orca团队在技术报告中充分讨论了当前限制。 Orca的价值，不在于宣称自己已经完成了世界模型，它更像是在给当前纷乱的World Model讨论，提出一个新的坐标系： 世界模型不应只被某一种输出模态定义。 它更应该学习世界如何被表征、如何变化，以及这种表征如何支持理解、预测与行动。 未来，这条路线也不只服务机器人。物理系统、生命过程、宏观宇宙、微观量子、科学实验，本质上都可能包含状态、干预和转移。 不同领域当然需要不同数据和建模方式，但“学习世界状态如何变化”这个问题本身，具有更基础的意义。 AI的下一步，也许不是更快地输出答案、生成画面或执行动作，而是先在内部建立一个足够稳定、可预测、可迁移的世界。 The World is in Your Mind.

Site key	qbitai
Policy area	人工智能
Category	report

BAAI's Orca Model Aims to Teach AI World Understanding Before Specific Task Training

别让AI一上来就“进厂打螺丝”：智源悟界·Orca要先教模型理解世界如何变化