李飞飞看了要点赞：15分钟，一台相机，把真实世界搬进了AI

编辑｜Clio 把一家冰淇淋店交给机器人，需要准备多少东西？ 机械臂、灵巧手、摄像头，以及负责感知和决策的模型，构成了看得见的系统。但在禾赛联合创始人兼 CEO 李一帆看来，要让机器人真正上岗，还要解决一系列与「空间」有关的问题。 在发布会上谈到 Sharpa 与 DQ 的合作时，他列出了团队希望达到的三个目标：尽量不改造原有环境，完成任务的完整闭环，以及承担真正的制作工作。他介绍道，制作冰淇淋包含五十多个步骤，团队希望机器人能够把整套流程接管。 为了让机器人拿下这套流程，团队先为它准备了一家「数字门店」：将真实门店的布局、设备和操作空间搬进虚拟环境，用于训练。 禾赛表示 ，过去专业团队人工建模还原一家门店需要约 300 个小时，他们的设备约 15 分钟即可完成扫描并生成高度还原的三维训练环境 ；Sharpa 的失败案例降至原来的十分之一，任务成功率达到 99%。 这也是空间智能正在讨论的问题。李飞飞将空间智能概括为 AI 在三维空间中感知、推理并行动的能力。与只回答「看到了什么」的视觉模型相比，它进一步要求 AI 理解物体在哪里、空间的几何关系，以及一个动作发生之后，世界会怎样变化。 那么，一家真实门店，究竟怎样变成机器人可以反复学习的地方？ 10 月 14 日，禾赛发布三维世界数据引擎 Kosmo，包括空间相机 Kosmo One 和云平台 Kosmo World。前者负责采集真实空间，后者进行重建、理解与编辑，并将数据交付给机器人仿真、世界模型和三维创作等工作流。目前，这套数据也已进入皮克斯相关创作工作流，以及高德的空间展示应用。 扫描一家店之后，哪些信息会被留下？这些信息又如何变成机器人能够使用的训练轨迹？ 为什么要专门造一台空间相机？ 机器人需要怎样的数字门店？ 柜台表面的颜色和纹理，影响视觉识别；桌沿的位置、设备之间的间隔，关系到接近路径与操作空间；换一个观察角度之后，杯子是否被设备挡住，又会改变机器人获得的观测。 因此，一个可用于训练的数字环境，需要同时保留外观、几何和空间关系。 专业团队当然可以通过传统 CG 建模完成这件事，但问题在于，真实世界中的门店、工厂和酒店各不相同。如果每进入一个新场景，都从头开始建模，成本会随着真实世界的复杂程度快速增加。 现场扫描提供了另一条路径：不再先假设一个标准空间，而是直接把具体场所记录下来。 Kosmo One 将激光雷达、影像系统与高精度 IMU 集成在一台设备中。 激光雷达提供空间测量，摄像头记录颜色与纹理，IMU 为设备运动估计提供信息，再通过同步、标定和融合，把不同来源的数据放进统一的空间参照。 毫米级精度意味着什么？向少卿在发布会上展示了一把网球拍。 他介绍道，球拍网孔约为 5 毫米间距，Kosmo 的定制激光雷达能够清晰呈现这些细小结构。这个演示让抽象的精度指标有了一个直观参照：当扫描对象从房间轮廓变成细小结构，测量能力会决定哪些细节能够被留下。 影像系统则采用一英寸大底 CMOS，支持最高 8K 拍摄，最终导出文件最高分辨率为 6K。但在三维重建中，分辨率之外还有另一个问题：多个摄像头拍到的同一个物体，能否保持一致？ 向少卿用一块地板来解释这个问题。扫描者在房间里走动，同一块地板会反复进入不同摄像头的画面。随着拍摄方向和背景变化，自动曝光、白平衡等处理可能作出不同调整，使同一个表面呈现出不同的亮度和颜色。 这些功能可以改善单张照片的观感，三维重建却需要把多个时刻、多个视角组织起来。如果同一表面的外观不断变化，纹理还原和视角切换的连续性都会受到影响。 因此，Kosmo 为三维重建定制了 ISP，也就是把影像传感器原始信号处理成图像的系统。它需要兼顾跨相机、跨时刻的一致性，让不同画面共同描述同一个空间。 几何与影像之间，也需要准确对应。扫描者走过柜台时，相机拍下一张图像，激光雷达取得一组测量，设备本身还在移动。系统需要知道这些信息分别来自什么时刻、什么位置，才能让图像里的柜台边缘与空间测量中的边缘对齐。 因此，一台空间相机的完成度，要在整条采集链路中体现：既要取得足够细的几何与视觉信息，也要让这些信息相互配合。 使用过程则需要尽量简单。向少卿在介绍 Kosmo One 时，特意强调了一个实体按钮和一个屏幕按钮：用户能够完成开机、扫描等操作。他为这款产品设定的目标，是让空间建模变得像拍照一样容易。 禾赛表示，在普通室内条件下，约 15 分钟可以完成 100 平方米空间的扫描，具体时间随场景结构和采集要求变化。 不过，扫描完成之后，得到的还只是一份空间记录。接下来的关键，是如何把它加工成能够反复使用的训练资产。 一次扫描，如何变成大量训练轨迹？ 采访中，李一帆曾向媒体抛出一个问题：大家会不会把三维重建理解成给点云上色，或者把照片贴到墙上？ 他随即举了一个例子：看墙上的钟。 人在不同位置看同一只钟，看到的形状、反光和细节会发生变化。如果只保留正面的一张照片，就很难完整表达侧面观察时的效果。当机器人在环境中移动，这类视角变化会不断发生。 Kosmo World 的底层系统 Kosmo Spatial Core，可以在一次重建中生成 3DGS、Mesh 和 Depth。 三种表达分别服务于外观、几何表面和距离信息的需要。 3DGS，即三维高斯泼溅，通过大量带有位置、形状、透明度和颜色等参数的高斯表示来重建场景，支持从新视角渲染画面。虚拟相机沿着柜台移动时，系统可以生成相应位置看到的物体、纹理与遮挡关系。 Mesh 用顶点、边和面描述物体表面，为碰撞与交互建模提供几何基础。Depth 则描述特定视角下的距离信息，可以与图像配合，用于空间感知。 三种表达保持空间对齐，意味着机器人在画面里看到的柜台，能够与几何模型中的柜台、深度信息中的距离相互对应，训练系统因此可以在同一个环境中获得不同形式的空间信息。 接下来，需要把虚拟相机放到机器人实际观察的位置。 人站着能够看见的桌面，可能被低处相机视野中的桌沿遮住。相机的安装高度、朝向和视场角变化，都会改变物体在画面中的大小、可见范围与遮挡关系。禾赛介绍道，Kosmo 生成的数据能够针对目标机器人的相机特性进行视觉适配，让数字场景中的观测更贴近实际使用条件。 场景本身也可以变化。 Kosmo World 支持 AI 驱动的语义分割，可以识别并提取椅子、沙发、相机等对象，再对其进行移动和编辑。原本固定的空间记录，由此获得了重新布置的可能。 假设把门店里的一把椅子从桌边移到过道，通行区域会缩小，部分物品可能被挡住。相机即使沿原来的路径移动，得到的画面也会不同。这些调整可以构成新的训练或测试条件，用来观察模型对布局与遮挡变化的适应能力。 编辑也会暴露采集时没有看到的区域。移走沙发后，下面的地毯从哪里来？ 在发布会演示中，Kosmo 通过 AI 推断，补全了沙发原先遮挡的区域。这样的处理让物体更便于移动，场景也更完整。与此同时，补全部分包含模型推断，训练团队需要根据任务要求判断其是否适用：用作背景，与用作精确接触和操作的表面，对数据的要求有所不同。 有了能够从不同视角观察、能够编辑的环境，轨迹生成就具备了基础。 在现实门店里采集一段视频，需要有人或设备沿路线移动；在数字门店中，可以重新设置虚拟相机的位置、方