AI’s Rapid Integration into the Physical World: Highlights from WAIC

Full text · 原文 4,848 字

梦瑶发自凹非寺 量子位 | 公众号 QbitAI 太！火！爆！了！ 还得是WAIC，还得是AI圈春晚—— 哪怕到了展会第三天，依旧人挤人人人人，火爆热程度堪比上海这两天的天气。（doge） 甚至，据说，连黄牛票…都炒到3000块钱一张了！？ 真不怪大家这么热情，主要吧，还是展会现场太有看头了—— 这边机器人模拟药房拿药取药、那边机器人组团开演奏会，还有各种长进真实硬件里的Agent和操作系统。 具身智能、世界模型、AI Coding、Token经济、AI硬件……过去一年最火的技术概念，今年几乎全都被搬到了现场。 如果说去年逛展大家聊得更多的，还是AI还能做点啥，那到了今年，一个非常非常非常明显的变化是—— AI已经从屏幕里走了出来，开始往工厂、家庭、药房、穿戴设备和各种真实生产场景里「疯狂流动」了： 在一众展商中，我也看到了一个咱非常之熟悉的玩家：京东。 只不过吧，这次，这家厂商亮相的方式确实有亿点不一样。 此前，京东就官宣要打造全球最大的物理世界运营中心，没想到这么快就把最新成果搬到了WAIC现场—— 首次集体亮相的JoyAI全系列大模型、具身数据采集与训练链路，还有以JoyInside为底座打造的京东AI Home，全都来了： 逛完今年的WAIC，我们会发现AI的能力边界，真的开始从数字内容的理解与生成，进一步延伸至物理世界的环境感知、实时决策与具体执行。 而过去停留在屏幕里的智能概念，如今已经开始进入工厂、家庭和各类终端设备，真正参与现实世界的现实运行了。 看得见、听得懂、还能执行，面向物理AI的模型全家桶来了 这两年，大模型已经进入密集发布期。 今年走进WAIC主场馆，我们会发现图像、视频、语音、交互、具身等不同方向的模型几乎覆盖了所有热门赛道。 但不得不承认的一点是，在真实的物理环境中，单一模型给出判断，只是整个AI任务执行流程的「起点」。 后续的路径规划、设备控制、动作执行与结果反馈，可以说每个环节都直接影响一个任务能否真正形成完整闭环！！ 也正因如此，物理AI对模型能力的要求，也从单项能力的突破进一步延伸至感知、理解、决策、执行的系统协作。 △AI生成 就在今年WAIC现场，京东直接端上了一整套面向物理世界的JoyAI模型「全家桶」。 从语音、图像、视频、实时交互、到具身智能，可以说是把物理AI需要的模型能力统统梭哈了…… 对物理AI来说，视觉能力决定了AI能否建立对现实环境的连续认知。 毕竟一台机器人真正开始行动前，需要先弄清周围有什么、物体位于哪里，以及彼此之间存在怎样的空间关系。 而京东此前开源的JoyAI-Image-Edit、JoyAI-Echo和JoyAI-VL-Interaction模型，刚好对应了视觉能力向物理世界延伸的不同维度—— JoyAI-Image-Edit实现了视角变换、空间漫游与几何一致性编辑，让AI从处理平面像素进一步走向理解空间结构。 △JoyAI-Image-Edit JoyAI-Echo通过跨模态记忆维持长视频的一致性，JoyAI-VL-Interaction则把理解和响应压缩至毫秒级，让AI可以一边观察实时画面，一边交互、调用Agent。 值得一提的是，京东还在今年WAIC上，展示了多模态领域的最新研究成果：实时视频编辑模型JoyAI-Video-Edit。 具体来说，用户可以自定义画面，并在预览过程中实时修改，让视频生成具备更强的即时反馈与动态调整能力。 从长时一致性、实时理解到即时修改，几款模型分别补上了动态视觉中的不同环节，让物理AI既能记住前后变化，也能跟上实时画面，并根据环境变化及时调整反应。 △JoyAI-Video-Edit 视觉模型让设备看懂周围环境，但当设备真正进入家庭和零售场景，还要面对一个更难处理的变量——人的指令。 毕竟，大家都懂，现实交流很少按照标准格式发生。 语气、习惯和表达方式同样因人而异，对于物理AI来说能否真正听懂指令，直接决定了后续动作会不会跑偏。 在今年WAIC上，京东不仅亮相了语音生成基础模型JoyAI-Voice，还同步发布了新的语音交互模型：JoyAI-Talker～ 其能够识别用户的情绪与真实意图，根据不同人的表达习惯调整回应，同时具备低延迟交互和随时打断能力。 这意味着，人与物理AI的交互能够从一次性下达指令，变成持续沟通：设备可以在执行过程中接收反馈、暂停动作、理解新的需求，再及时调整接下来的行动了！！ 能看懂环境、理解人的意图，物理AI还要跨过最后一道门槛——让真实设备把模型的判断变成动作。 而京东的JoyAI-RA移动操控基础模型，解决的正是这段从决策到行动的转换。 通过统一训练框架，让不同机器人与人类操作经验能够在同一套动作表达中完成对齐，再结合仿真训练和真实环境验证，持续修正模型在现实中的执行偏差。 由此，物理AI在模型能力上，才真正完成了从感知、理解、决策到行动的完整闭环。 小机器人们，开始在物理世界狠刷「经验值」 机器人在模型里学会了看、听、理解和规划，真到了现实世界，还是可能被一只摆歪的杯子「难住」。 毕竟，模型给出的更多是智能上限。 这些能力能否迁移到物理世界的真实任务中，很大程度上还是取决于小机器人们在物理世界中攒到的经验。 读万卷书不如行万里路，这个道理放在小机器人身上，同样成立。 于是，随着机器人走向现实环境真实作业，一个越来越关键的环节被推到了台前，那就是「具身数据采集」。 △AI生成 与大模型的语料训练相比，机器人学习所需的真实经验，其实要比文本数据难攒得多，而且哪怕数据规模上去了，机器人也可能被「教坏」。 京东就做过一组很直接也很直观的实验—— 他们分别用1万小时高质量数据和1万小时存在瑕疵的数据训练模型，结果发现，有瑕疵的数据即使继续往上堆，模型效果也未必提高，甚至还会越练越差。 所以在京东看来，数据时长只能反映采集规模。真正决定训练价值的，是动作、轨迹、任务结果和场景变化能否被准确记录和理解，背后还牵涉标注模型、算法精度与数据处理等一整套技术链路。 由此形成的「数据采集—模型训练—真机验证—反哺采集」数据采集闭环，则是物理AI真正走进现实世界的关键。 △AI生成 值得一提的是，这套围绕真实数据持续运转的具身智能数据采集的飞轮，也已经跑出了最新进展—— 当前京东已经发动60万人参与数据采集，建设了全球最大具身数据采集中心，预计2年内采集1000万小时人类真实数据。 围绕数据采集、仿真训练与真机验证，京东还构建起了全球首个覆盖采、存、标、训、评、仿、测的全链路具身数据基础设施。 从人类怎么做，到机器人怎么学、哪里做错了、下一轮还缺什么数据，就这样被串进了同一个持续循环的系统里。 而这条链路跑出来的最新成果，则被直接搬到了今年WAIC现场。 在今年WAIC上，京东开源了行业最大的人类第一视角数据集EgoLive—— 2000小时视频、65866个Episode，覆盖346项真实世界任务。人类在生活和作业现场中积累的操作经验，就这样被一段段记录下来，变成具身模型可以反复学习的「现实教材」。 事实上，京东之所以选择第一视角的数据采集方式，背后也有一层更具体的行业判断。 在京东看来，具身智能真正稀缺的，是能够同时保留环境信息、动作过程与任务意图的高质量真实数据。 而「第一视角」的数据采集工作恰好提供了一条更适合规模化的路径：它能沿着人的视线，完整记录看到了什么、双手怎么动、任务如何完成，同时减少对特定机器人本体的依赖。 如今，这条路线事实上也已经在实际任务中得到验证，在多个应用场景里，使用京东第一视角数据和机器人数据后，任务准确率甚至已经实现两位数的提升。 △AI生成 光看数字多少还是有点抽象。 在这次WAIC上，京东把具身智能从跟人学到自己干活的整条链路，还搬到了现场。 参观者戴上京东自研的超高清采集终端JoyEgoCam，在货架前完成一次真实作业，人看到了什么、手怎么移动、物品如何被拿起和摆放，都会以第一视角完整记录下来。 这些数据随后经过自动标注、质量优化和结构化处理，被送入数字孪生环境中训练、评测，最后再部署到实体机器人上。 具身数据从采集到训练、再到真机验证的闭环，也就这样在现场跑了起来： 从云端到现实世界，这次终于有了更具体的物理AI入口 AI要真正走进物理世界，最终的落脚点，那就是其能不能在「真实场景」里把事情做成。 事实上，不同的场景对于AI的嵌入难度，也完全天差地别。 例如工厂和物流更像一道边界清晰的封闭题：货物从哪来、机械臂往哪抓、设备按照什么规则运行，大多可以提前定义，任务完成与否也有明确指标。 但，「家庭」场景就麻烦多了。 一个家里同时存在各种设备产品，每类产品都有自己的系统与交互逻辑，数据分散在不同设备里，此外更难预测的，还有人和突然变化的环境—— 孩子突然哭了、老人夜里起床、宠物挡住扫地机器人……这些情况随时可能发生，也很难提前穷举。 也正因如此，家庭正在成为物理AI最难进入、同时也最有战略价值的场景之一。 而京东，目前也已经把模型与数据能力接进一台台具体设备，沿着这些智能终端，真正走进了家庭场景。 △AI生成 值得一提的是，面向真实的物理场景，京东当前已经把自研JoyAI大模型的能力，进一步封装成了一套给智能硬件使用的AI大脑——JoyInside。 从定位来看，JoyInside更像连接模型与硬件的一层AI System。 其将JoyAI的感知、理解、记忆和交互能力接进具体设备，同时处理家庭场景中的语音识别、意图理解、长期记忆和多设备协同。 而对于家庭里的各种设备，事实上京东则有一层更具「具身」意味的理解—— 此前，京东科技AI创新业务附身智能负责人曾在媒体采访中提到，在京东看来，一个家里的台灯、床垫、空调、机器人和AI玩具，其实可以被看成一台拆散了的「积木式机器人」。 每台设备负责一种感知或行动，JoyInside则让它们逐渐理解家庭成员的需求，并在不同场景中相互配合。 这套思路在今年WAIC现场，也有了更具象的展示。 比如下面这张搭载JoyInside的智能睡眠床垫，能持续捕捉睡眠体征，还能结合用户当前状态进行主动询问。 当感知、模型理解与设备控制被接进同一条链路，一张传统床垫也就拥有了持续感知、主动判断和提供服务的能力。 再比如，在学习场景中，JoyInside AI投影台灯提供了一个更典型的物理AI样本。 通过无屏漫反射投影与多模态扫题批改，它可以识别纸面题目、书写内容和学习进度，再将模型生成的讲解与反馈直接投射到桌面，实现实时答疑和订正。 这意味着，AI的交互界面开始从屏幕里的对话框延伸到真实学习空间。一盏传统台灯也由此升级成了具备「感知—理解—反馈」能力的物理AI终端： 而这张由智能硬件组成的物理AI网络，扩张速度也比想象中更快。 据了解，目前接入JoyInside的智能硬件，对话轮次平均提升超过120%，而JoyInside合作范围也已经覆盖近200个家电家居、机器人和AI玩具等行业品牌。 甚至到今年，JoyInside预计还将接入超过千万台终端设备。 所以当我们再回过头再看—— 全球最大物理世界运营中心这个战略目标，似乎也已从一个口号愿景，逐渐长出了模型、数据、设备和真实场景组成的「具体骨架」。 对于一家从零售起家的厂商来说，物理世界从来都不抽象。 货物怎样流动、仓库如何运转、设备怎么协同、用户需要什么，原本就是京东过去二十多年每天都在处理的问题。 当模型、数据、基础设施、终端与业务场景逐步贯通，物理AI也随之形成一套持续循环的运行机制—— 在真实环境中感知与行动，在执行过程中获得反馈，再将反馈沉淀为数据，推动模型进一步迭代。 进而AI也开始从云端，一步步推向了自己最熟悉、积累也最深的物理世界。 物理世界的AI，也终于等来了它最理想的样子。

Site key	qbitai
Policy area	人工智能
Category	report
AI score	0.20

AI’s Rapid Integration into the Physical World: Highlights from WAIC

逛了趟WAIC，我只想说，AI在物理世界都快卷疯了……