Agent Finally Grows a Body: Thinking and Practice Behind Jiuwen Symbiosis

Full text · 原文 4,655 字

如果你在三年前问AI圈：未来最强的AI长什么样？ 大部分人可能会回答，一个更大的GPT，更多参数，更长上下文，更强推理能力。 然后我们一路从GPT-3.5走到GPT-4、Claude、Gemini、DeepSeek、Qwen。 直到今天，突然发现一个有趣的问题：AI已经学会写代码了，学会做数学题了，甚至学会和你讨论人生意义了，但它依然不会给自己倒一杯水。 这正是当前AI最大的局限之一： AI没有身体。 今天，openJiuwen社区正式开源Jiuwen Symbiosis，一个专为更高阶的physical AI打造的Symbiosis（共生）架构。 从虚拟数字世界到真实物理世界，我们给AI装上了感知和行动的“骨骼与肌肉”。 Gitcode传送门： gitcode.com/openJiuwen/jiuwensymbiosis （动动小手，Star一下不迷路⭐） Moravec悖论：最难的不是高数，而是走路 1988年，机器人学家Hans Moravec提出了后来著名的Moravec’s Paradox（莫拉维克悖论），其核心思想非常反直觉： 对于计算机来说： 下国际象棋很容易 做高等数学很容易 而对于人类婴儿都能完成的事情，反而异常困难： 行走 抓取 避障 保持平衡 原因很简单，这些能力并不是逻辑推导出来的，而是数百万年进化形成的身体智能。 这就是大模型时代的“缸中之脑”困境：智商200，但没有实体，对真实物理世界的摩擦力、重力和空间几何一无所知。 从“缸中之脑”到“身体力行”：智能的进化史 智能对外在机器本体控制的演进，本质上就是一场从数字世界到物理现实的历程： 1.0手搓任务（借助人的辅助）： 依靠人的理解，进行极为原子化的控制操作。 2.0虚拟环境演练（Sim2Real）： 在Habitat、AI2-THOR等仿真环境里模拟，开始有了空间概念，同时训练一个或多个模型，使得大脑可以分析理解指令，并进行任务执行。 在2.0这个阶段，一系列的问题会凸显出来，最为人诟病的是： 缺乏跨本体环境泛化能力：模型一旦训练完成，其技能集合即固化。要让机器人学会“开抽屉后抓取内部物体”，需要重新采集数据、重新训练整个模型。VLA缺乏组合泛化能力——无法将已学的“开抽屉”与“抓取”零样本组合为新任务。 长程复合任务能力不足：当前模型擅长短程原子操作（如“抓取红色方块”），但面对长程复合任务（如“从料架上取Tray盘→绕过设备→放入机台→按压确认→返回原位”），单一VLA模型缺乏任务分解、子任务编排、异常回退的能力。它只能在训练分布内“模仿”，无法在运行时“规划”。 故障定位困难：当前模型将“视觉→语言理解→物理推理→动作生成”全部压缩进一个Transformer，运行时失败（如抓取偏移、碰撞）无法定位故障根因——是感知误识别、语言歧义、物理推理错误，还是控制轨迹发散。 成功率低，稳定性差：当前模型端到端基础模型为典型黑盒结构，直接输出关节位姿等底层动作指令，大模型兼顾认知决策与运动控制，整体实现难度大，模型稳定性差、任务成功率低。 3.0共生时代（Jiuwen Symbiosis正在做的）： 模糊虚拟与现实的边界，让Agent能够真正理解物理法则，并直接输出控制硬件底层拓扑的Action序列。 Agent时代的到来 2023年以后，Agent成为整个AI领域最火热的方向之一。 大家发现：大模型已经具备不错的推理能力，真正缺少的是行动能力。于是出现了： Tool Calling Function Calling MCP Browser Agent Computer Use Agent Agent开始获得操作世界的能力，它们不再只是回答问题。但这里依然存在一个问题：这些Agent操作的仍然是数字世界。 不是物理世界。 但经过一系列的演进，openJiuwen团队相信具有物理能力的Agent时代已经悄然到来，它比前辈们向着真实世界更加向前迈进了一步。 下一步是让Agent走进现实世界。简单来说，传统Agent可以简化为如下过程： 而physical AI Agent的模式发生了本质的改变——Agent不再面对文本，而是面对真实世界，需要与现实环境进行交互反馈，整体过程可以简化为如下： 但openJiuwen团队认为这依然是远远不够的，人类在执行任务的过程中，观察、反馈等过程是一个不间断的实时系统。 同时，理论上，从传感器–>VLM–>LLM–>Planner–>ROS的整个过程看起来是非常优雅，但实际执行过程中，极有可能变成JSON的极限堆积，并且系统越复杂，这个现象越明显。 最终导致，Agent到底在想什么，为什么做出这个决策，为什么执行失败，全部变成糊涂账。 Jiuwen Symbiosis：让Agent拥有透明的态势感知系统 Jiuwen Symbiosis的设计理念非常简单： Agent的思考过程应该是可观察、可调试、可协作的。 团队尝试把Agent的内部状态显式暴露出来，而不是隐藏在黑盒中。 在Jiuwen Symbiosis中：认知层与执行层通过共享Workspace协作，解决复杂任务执行，保障认知正确与快速响应，并极大简化跨本体适配。 同时，其实现过程又是丰富且严谨的，openJiuwen团队将这个核心骨架称为：态势感知环（Situation Awareness Loop）。 在此基础上，团队增加了若干功能模块，例如安全规划，状态感知，观测反馈，空间记忆等关键技术模块。 多模态感知（Multimodal Perception） 使physical AI Agent主动感知世界，是Agent由数字走向物理的基础。 同时，把理解从决策中分离，在进行Action之前对场景进行充分理解，产出结构化世界状态，例如被检测对象、对象位姿、置信度等。 安全规划（Safe Planning） 基于Prompt任务指令与结构化世界状态，进行任务规划，对相关Skill中的参数动态赋值，并进行物理可行性、安全性与约束校检，拒绝不可执行方案。 物理执行（Physical Action） 按照Skill的建议，调用相关Action Tool原子能力，最终完成位移、抓取、放置、交互等一系列连续可控的物理运动。 状态观察（Observation） 负责对物理动作执行后的真实世界状态进行采集与结构化提取。 通过视觉等传感器获取执行结果，识别物体位姿、环境变化、交互效果等关键信息，输出结构化的世界观测状态，为后续Feedback偏差计算提供客观依据。 观测反馈（Feedback） 基于观测结果构建闭环修正机制，将执行偏差、异常状态、成功/失败判据回传至推理与规划模块。 实现动作参数实时调整、规划序列动态优化、异常场景自主恢复，同时沉淀交互数据用于技能迭代，形成“感知-规划-执行-观测-反馈”的完整闭环，持续提升态势感知规划的鲁棒性。 空间记忆（Spatial Memory） 通过物体级感知，实现对空间的对象化表征（如3D Scene Graph），构建物体级的空间关系；通过变化检测技术发现事件，自动化增量式维护空间关系。 同时，通过时间维度压缩，空间层级聚合和情景事件聚类，形成多时空尺度的组织，使能任务驱动的空间上下文构建。 拥有以上能力的physical AI Agent将为行业带来如下变化，体现在如下方面： Zero跨本体，跨环境自主适应泛化能力； 针对复杂任务，具备自主拆解，分步执行能力； 减少对训练数据的依赖； 本体操作的自我总结与进化能力。 用户视角下的Jiuwen Symbiosis： 从用户视角，Jiuwen Symbiosis就是一个“能懂人话、看得见物理世界、长了四肢的智能助手”。 用户不需要示教，不需要教它怎么抓东西，怎么走路，就像指挥一个经验丰富的工人一样，用自然语言下任务，它就能自己完成感知、理解、规划、执行。 Symbiosis：共生，而非控制 为什么叫Symbiosis？ 因为我们相信未来并不是： 而是： 这是一种新的持续协作关系。在这个系统中，Agent不只是工具，而是长期合作伙伴。 它能够： 理解目标 主动规划 请求帮助 从反馈中学习 从而形成真正的人机共生。 我们将教给机器人How，而不是传统的What，允许尝试并及时纠错，沉淀经验，最终达到自我演进的目标。 终极的physical AI不会由某一家企业完成，正如Linux没有由一家公司构建，ROS没有由一家公司构建。未来的行业生态也需要开放协作，因此openJiuwen团队决定开源Jiuwen Symbiosis。 希望它成为一个透明的Agent for Physics、一个可扩展的physical AI框架、一个连接大模型与机器人世界的桥梁。 共生的另一层解读是算力生态的亲和共生。 Jiuwen Symbiosis轻量化的视觉感知模型可部署在本地端侧，消耗显存较低，对包括Ascend在内的多种生态，都可以有较好的适配，例如采用Ascend-SACT/GroundingDINO等。 其输出结果完全兼容主流检测格式，可直接对接昇腾版及其他生态兼容模型，完成下游任务联动。 Jiuwen Symbiosis与昇腾、鲲鹏 很多physical AI系统仍然沿用“大模型+GPU”的思路。 但在真实机器人场景中，问题往往不是单纯的模型推理，而是如何让感知、认知、规划和执行在有限功耗和有限带宽下形成稳定闭环。 Jiuwen Symbiosis从设计之初就采用了端云协同架构：其中，大规模推理和复杂规划运行在云侧LLM/VLM，端侧则专注于实时感知与执行。 这种架构与昇腾、鲲鹏的异构计算能力形成了天然匹配： 昇腾提供较高TOPS的AI推理能力，可承担目标检测、视觉理解、多模态感知等高频任务； 鲲鹏CPU则负责工具调度、任务编排、状态管理以及机器人控制逻辑，实现低延迟、高可靠的执行链路。 更重要的是，Jiuwen Symbiosis继承了OpenJiuwen在鲲鹏与昇腾生态上的优化成果。 在某些场景中，系统能够将规划负载卸载到昇腾NPU，将Agent Runtime、Memory、Workspace、Tool Calling等逻辑运行在鲲鹏CPU上，从而避免传统GPU方案中“所有任务争抢同一计算资源”的瓶颈。 最终形成一种更符合机器人运行规律的资源分工。 这种分层架构不仅提升系统吞吐能力，也显著降低了端侧部署成本和整体功耗，使Jiuwen Symbiosis能够更自然地运行在机器人、机械臂、四足机器人以及边缘智能设备等真实场景中。 未来 今天的Agent已经学会阅读，正在学会思考。 下一步，它们将学会行动。 而当感知、认知与行动形成闭环时，真正的physical AI时代也许才刚刚开始。 如果你也在探索： Embodied AI Robotics Agent VLA/VLM World Model Physical Intelligence ROS2 Multi-Agent Systems 欢迎加入openJiuwen社区，一起构建下一代物理世界的智能系统。 华为云AgentArts也已将openJiuwen引入到商业化平台能力中，开箱即用，访问华为云官网即可体验。 *本文系量子位获授权刊载，观点仅为原作者所有。

Site key	qbitai
Policy area	具身智能
Category	report

Agent Finally Grows a Body: Thinking and Practice Behind Jiuwen Symbiosis

Agent终于长出了身体：Jiuwen Symbiosis背后的思考与实践