揭示人机联合训练Scaling Law！欧拉万象联手港科广开源具身UniWAM

机器之心发布 Ola-Sem 正式开源版本来了！UniWAM 探索 Human-Robot Co-training 的 Scaling 趋势，实现世界理解、未来预测与动作生成的统一学习，代码与权重全面开源。 欧拉万象 x 香港科技大学（广州）（简称：港科广）此前曾联合发布 Ola-Sem，并在全球主流榜单上取得 SOTA 成绩。今天，Ola-Sem 的开源版本 ——UniWAM（Unified World-Action Model，统一世界与动作模型）正式发布 ， 将语义理解、未来视觉预测与动作生成纳入统一架构，首次揭露 Human-robot Co-training 的 Scaling 趋势。同时，模型通过共享的物理语言监督，连接人类与机器人操作数据，探索如何将更丰富的人类经验转化为机器人可用的学习信号 。 UniWAM 获得了多项基准 SOTA，在 LIBERO 上取得 99.2% 的平均成功率，在 LIBERO-Plus 上取得 92.6% 的整体成功率，在 RoboTwin 2.0 C2R 上取得 68.32% 的成功率，均达到论文所列方法中的领先水平。同时，UniWAM 进一步通过真机实验，验证了模型在指令跟随、复杂交互与长程任务执行中的能力。 这些成绩背后，是 UniWAM 对语义理解、世界预测与动作生成统一学习的探索 。目前，模型代码与权重已正式开源。 一句 “收拾桌面” 机器人需要哪些能力？ 面对摆满杂物的桌面，你会直觉对机器人说：“收拾一下桌面。” 这句话没有列出每一步。机器人需要识别物体，判断收纳策略，还要在执行中跟踪场景变化：杯子是否放好了？抽屉是否打开了？下一步该操作什么？ 在 UniWAM 的长程桌面整理实验中，机器人在推理时接收的同样是一句高层指令：“Tidy up the desk.”。任务包含杯子放置、抽屉收纳盒笔的放置等多个子任务。而这些子任务彼此又存在因果关联：打开抽屉之后才能放入物品，完成收纳之后还需要关闭抽屉。机器人需要在连续操作中跟踪任务进度，并根据当前场景生成后续动作。 图 1｜双臂平台上的多物体抓取、不同交互、相对位置放置、抽屉收纳与长程任务演示。 三种能力，一个统一架构 UniWAM 成功执行连续任务的目标引出了一个根本问题： 机器人能否不再将理解、预测和行动视为彼此割裂的能力 ，而是在一个统一模型中学习、从而减少理解与执行之间的脱节，更好地应对复杂任务中的连续决策与环境变化？ 围绕这一目标，UniWAM 将语义理解、视觉动态与动作生成纳入统一架构，让任务要求、场景变化与动作信息在训练中相互关联，为更稳定、更连贯的机器人操作提供支持 。 视觉 — 语言 — 动作模型（VLA）继承了视觉语言模型的语义能力，但仅靠动作监督，对世界动态的学习仍有局限。世界 — 动作模型（WAM）引入视频生成模型的时空先验，而面对环境变化，语义理解和推理同样重要。 UniWAM 将三类组件连接到统一架构中： Physical Reasoner（物理推理器） ：基于 Qwen3-VL-2B-Instruct，理解当前视觉场景和任务指令，提供语义信息。 World Generator（世界生成器） ：基于 Wan2.2-TI2V-5B，学习预测未来视觉变化，为操作提供动态信息。 Action Predictor（动作预测器） ：建模连续动作的流场，生成机器人执行所需的动作片段。 三个组件通过联合多模态注意力交换信息，使动作预测能够结合任务要求与场景动态。UniWAM 的核心探索，是让理解、预测与行动在统一架构中相互关联、共同学习 。 图 2｜左侧为三个组件及联合多模态注意力，右侧为人类、机器人与视觉语言数据概览。 统一架构高效连接语义与动态 三个组件保留各自的特征处理方式，再把不同模态的 token 投影到共同注意力空间。语义、视觉和动作信息在该统一空间中交互，使动作预测可以结合任务语义和视觉动态线索。 世界生成器在冻结的视觉自编码器潜在空间中学习未来变化，动作预测器学习连续控制信号。两种生成目标通过共享信息建立联系，同时各自保留对应模态的建模方式。 物理推理器还保留语言预测目标，接受物理语言和视觉问答监督。这为语义能力提供直接训练信号：机器人既需要学会操作，也需要持续学习 “看到了什么”“指令要求什么”。 从架构设计，走向数据利用效率 人类操作视频包含丰富经验，但其中的动作标签往往需要通过估计获得。手部遮挡、相机运动和深度估计误差，都会影响轨迹的准确性。 团队在所分析的数据管线中观察到：二维轨迹的形状与运动趋势往往较可靠，误差更多集中在深度和绝对尺度。这意味着，一段轨迹即使难以提供精确的三维位移，仍可能保留运动方向和操作意图等可用信息。 UniWAM 因此探索一种共享监督方式：在学习视觉变化的同时，利用这些仍然有效的运动信息，帮助模型建立动作与场景变化之间的联系。 用物理语言表达动作段，加速动作学习 UniWAM 设计 physical language（物理语言），用自然语言描述动作，为人类与机器人数据提供共享监督 。 例如，一个动作段可以写成 “向前移动 5.5 cm ，再顺时针转动 30° ”。这里的数值用于说明表示形式：语言可以把方向、位移与旋转 可以通过已有语言组织起来，与 VLM 视觉语言模型的预训练表达方式相接 。 这种设计侧重保留运动趋势和意图，降低对精确连续标签的依赖。语言描述为理解组件提供辅助监督，动作预测器仍学习连续控制，不要求机器人先逐字输出动作说明再执行。 提升数万小时的数据质量与数据规模 团队搭建清洗与标注管线， 处理超过一万小时机器人与人类第一视角数据，并混合 VQA 问答数据 进行预训练 。机器人示范提供控制经验，人类操作扩大场景与行为覆盖，VQA 补充空间、物体与交互状态理解。 机器人数据经过时序、几何与视觉质量检查；人类数据使用子任务级描述。团队为 EgoDex 构建 EgoANT，先由粗到细定位操作事件，再生成并筛选描述，使语言与局部视频事件对应；EgoVerse 和 VITRA 的已有标注保留使用。 值得注意的是， 数据清洗不仅要去除低质量样本，更要保留具有物理交互价值的信息 。 例如，视觉变化很小的片段可能包含夹爪闭合，不能仅因画面静止就删除。结合视觉、状态与动作信息处理，能够让可用经验更完整地进入训练。 图 3｜从长视频中定位操作事件，再为片段提供对应的子任务描述。 Physical AI，最终要落在动作上 理解之外，还要高效稳健行动 对于 Physical AI 而言，动作不应只是模型理解世界后的最终输出，更应成为学习物理世界的重要信息来源。在连续操作中，机器人的历史动作不仅记录了此前的执行过程，也为预测后续动作提供了重要线索。 基于这一思路，UniWAM 引入 历史条件流匹配（History-Conditioned Flow Matching） ，不再完全从随机噪声开始生成动作，而是利用经过扰动的历史动作作为初始化，通过少量去噪更新预测未来动作片段。这种方式充分利用动作之间的时序关联，在减少生成步数的同时，保持较高的操作成功率。 与此同时，机器人对未来场景的预测并非总是准确。为此，UniWAM 在后训练中引入 未来视觉