← 返回我的文章

S01 / ARTICLE FILE

李飞飞发布 Atlas: 几张照片能生成一个世界,离具身智能落地还有多远?

硅基斥候S01

结合Atlas的照片生成、空间重建与机器人演示,讨论世界模型走向具身智能的距离。

李飞飞发布 Atlas: 几张照片能生成一个世界,离具身智能落地还有多远?

从模型演示走向真实产品,还隔着数据、仿真、硬件与行业生态。

现在用一张照片,可以生成一个世界。

李飞飞创办的 World Labs 刚刚发布了 Atlas。这个世界模型试图把照片继续向外展开:镜头没有拍到的背面、转角、走廊,甚至整片空间,都可以由模型接着生成。

文字、图片、视频、相机的位置和方向、3D 深度信息,都能进入 Atlas 的空间上下文。模型会根据这些内容生成新的视角,也能输出深度、点云和 3D 场景。

World Labs 发布的 Atlas 世界模型主视觉

World Labs 官方 Atlas 官方发布主视觉。它要处理的不只是画面内容,也包括观察者在空间中的位置与运动。

李飞飞是 ImageNet 的主要创建者之一。二十年前,她参与解决的问题是让机器认出图片里的猫、汽车和椅子。今天,她把问题往前推了一步:机器看到一张图以后,能不能理解图像背后的三维空间,以及观察者移动之后会看到什么?

这就是“世界模型”想做的事。语言模型根据上文预测下一句话,世界模型根据当前观察和行动,推演下一帧画面以及空间可能发生的变化。

Atlas 目前展示出的能力,可以分成三层。

01 · CAMERA CONTROL

第一层:让镜头按照坐标运动

现在用视频模型做运镜,通常要在 Prompt 里写“慢慢拉远”“绕到人物背后”“从低处升到俯视”。模型需要把这些文字翻译成镜头运动,角度和距离多少带着猜测。

Atlas 可以直接接收相机的位置、方向和移动路径。用户放入一到六张参考图,再设计一条镜头轨迹,模型沿着这条轨迹生成画面。World Labs 展示的最长案例达到 1 分钟、1440p。

Atlas 根据输入图像和相机路径生成新视角的官方演示动图

Atlas 官方演示 输入参考图,再给出相机路径,Atlas 沿着指定轨迹生成新的观察画面。

Atlas 相机路径控制演示的官方画面

Atlas 官方演示 文字描述内容,相机坐标约束观察位置与运动路线。

这项能力最直观的变化,是运镜变得更可控。人仍然可以在 Prompt 中描述想拍什么,相机坐标继续约束从哪里看、怎样移动。文字给出意图,镜头参数把意图落到空间里。

对影视、广告、游戏和虚拟拍摄来说,这确实很有吸引力。一张参考图可以延展出多段运镜,导演也可以在生成前先确定机位和路径。

02 · SPATIAL CONTEXT

第二层:把几张照片补成连续空间

Atlas 会把每张图片放到三维空间中的一个位置,再判断这些图片之间是什么关系。World Labs 把这个机制称为“空间上下文”。

只输入一张房屋照片时,模型会根据训练中学到的世界常识,补出照片没有拍到的侧面和背面。继续加入第二张、第三张照片,真实信息增多,模型需要猜测的区域随之缩小。

Atlas 从稀疏输入重建场景并生成连续视角的官方演示动图

Atlas 官方演示 模型先建立稀疏空间,再沿新的路径进入补全后的连续场景。

官方展示的斯坦福 Main Quad 案例使用了 2 到 25 张地面照片。Atlas 把草坪、拱廊和教堂外墙放进同一个空间,还生成了从空中飞越校园的观察路径。

它也可以把两张原本无关的图片放进同一个空间,生成连接两者的门、走廊和转角。这里已经出现了世界模型与传统三维重建之间最重要的差别:它会主动补全没有被相机记录的部分。

Atlas 在生成场景中切换到新视角的官方演示动图

Atlas 官方演示 参考图没有记录的区域由模型继续生成;输入越少,模型需要推测的部分越多。

补出来的空间可能连贯、合理,也可能与真实地点不同。输入越少,模型的想象越多。这种能力适合创作和预演,进入测绘、工业或机器人任务时,还需要真实数据继续约束。

03 · 3D & SIMULATION

第三层:让生成的场景进入 3D 和仿真

Atlas 生成画面的同时,还能输出深度图、点云和 3D Gaussian Splatting,也就是 3DGS 场景。生成结果因此可以继续进入三维漫游、游戏、设计和仿真工具。

Atlas 将仓库场景转为三维表示的官方演示动图

Atlas 官方演示 从稀疏重建、相机轨迹到 3D Gaussian Splatting 场景,生成结果开始进入三维工作流。

它还展示了一种简化版的“子弹时间”。研究人员用三到五部普通手机或运动相机拍摄同一事件,Atlas 重建空间以后,可以重新选择一个原本不存在的机位。

机器人方向更接近 World Labs 的长期目标。官方从两个大空间的手机视频中各取 24 帧完成重建,再生成机器人沿着不同路线移动时,机载相机应该看到的 RGB 画面和深度信息。机械臂案例还会改变物体、位置、灯光和背景,生成更多训练与测试环境。

Atlas 生成机器人在室内移动时机载相机观察的官方演示动图

Atlas 官方演示 官方演示把重建空间转成机器人移动时的 RGB 与深度观察。

Atlas 改变机器人任务中的物体和环境生成仿真场景的官方演示动图

Atlas 官方演示 同一项机械臂任务被放进不同物体、位置、灯光和背景中,用来扩展训练与测试环境。

Atlas 在这里承担的是场景和观察数据的生成。机器人怎样规划动作、怎样控制电机、怎样处理失败,还需要策略模型、仿真系统和真实硬件共同完成。

04 · PRODUCT

从产品经理看,Prompt 仍然是起点

在我看来,Prompt 仍然会是这类产品的起点。只要任务由人提出,就需要一个地方告诉 AI 要做什么。

用户以后依然可能输入这样一段话:“根据这几张照片重建这个房间,保留家具位置,再生成机器人从门口走到货架的观察路径。”这段 Prompt 定义目标,图片、相机位姿和深度信息提供完成任务所需的上下文。

Atlas 带来的变化发生在 Prompt 之后。过去的生成式产品交付一张图或一段视频,世界模型需要维护一个相对稳定的空间。同一扇门换个角度仍然要在原来的位置,机器人移动以后,下一帧观察也要和前面的场景接得上。

NIST 工程师在机器人测试设施中讲解测试方法

真实照片 真实产品最终要进入可重复的任务与测试。图为 NIST 机器人测试设施,NIST 摄影,美国联邦政府作品,公有领域。

产品经理最终要看的,是这套能力能不能进入真实任务。它有没有缩短三维场景的搭建时间?生成的数据能不能改善训练?用户修改一个物体以后,其他视角是否继续一致?结果出了问题,能不能找到原因并重新生成?

演示视频回答“模型能生成什么”,产品还要回答“用户怎样把事情做完”。

05 · EMBODIED AI

具身智能是一套系统,不会被一个模型单独推着走

Atlas 的演示很容易让人把世界模型和具身智能直接连在一起。这个方向确实成立:机器人、自动驾驶汽车、无人机和四足机器,都需要理解环境,并提前判断行动可能带来的结果。

世界模型可以提供大量可变化的训练环境,减少机器人在真实工厂、仓库和家庭里反复试错的成本。无人机也可以在仿真空间中测试航线、遮挡和不同天气条件。它们都是具身智能可能使用世界模型的方式。

亚马逊仓储移动机器人实物照片

真实照片 仓储机器人只是具身智能系统的一种载体。摄影:Geni,Wikimedia Commons,CC BY-SA 4.0。

一套具身智能产品还要同时处理数据采集、环境重建、物理仿真、动作规划、传感器反馈、硬件控制和安全保护。机器人在仿真里学会一项动作,换到真实环境后能否继续成功,又是长期存在的 Sim-to-Real 问题。

World Labs 自己发布的 Real-to-Sim-to-Real 材料也把问题写得很具体:从精彩演示走到可靠运行,需要处理光照变化、杂物、物体摩擦、硬件差异和失败恢复。世界模型只承担这条链上的一部分。

这更像一只水桶。

Atlas 可能把“生成和理解空间”这块木板抬高了。数据质量、策略模型、传感器、硬件可靠性、算力成本和安全体系中,任何一块明显偏短,整只水桶仍然装不了多少水。

所以,世界模型成为基础模型以后,还要长出仿真平台、开发工具、硬件接口、行业数据和评测标准。具身智能前进多少,取决于这套生态能不能一起工作。

06 · GIS

GIS 可能成为世界模型进入行业的一座桥

我的专业和长期工作都与 GIS 有关,所以我更关心 Atlas 怎样接入已有的地理空间数据。

测绘和航空遥感已经积累了大量正射影像、卫星照片、倾斜摄影、点云、数字高程模型和矢量数据。这些数据记录真实世界的位置、形状和变化,也有成熟的采集、处理和更新流程。

测绘人员在户外使用无人机执行测量任务

真实照片 无人机测绘现场。摄影:Oregon Department of Transportation,Wikimedia Commons,CC BY 2.0。

世界模型可以在这些数据上增加另一种能力:把静态空间变成可观察、可变化、可供智能体试验的场景。如果两套数据和工具能够打通,测绘任务可以提前预演采集路线,灾害应急可以更快建立可浏览环境,城市三维数据也可以进入机器人、车辆或无人机的仿真训练。

无人机只是其中一种载体。机械臂面对的是桌面和工厂,自动驾驶面对的是道路,服务机器人面对的是商场、医院和家庭。GIS 的价值在于把这些场景放进已有的空间数据和行业流程中。

目前 Atlas 官方披露的原生输入仍是文字、图片、相机位姿和深度图。坐标体系、数字高程模型、矢量边界、LiDAR 和其他 GIS 数据怎样进入模型,World Labs 还没有给出公开答案。

把两者接起来,需要世界模型负责生成和推演,也需要 GIS 提供真实空间的数据与约束。连接是否顺畅,决定了 Atlas 这类模型最终停留在漂亮的内容工具,还是进入测绘、遥感、城市管理和具身智能工作流。

07 · WAIT FOR EVIDENCE

Atlas 代表了一个方向,结果还要再等等

Atlas 现在只向部分合作伙伴开放 Early Access。普通开发者还不能直接使用它,官方也没有公布价格、推理延迟、算力要求和正式 API。

因此,我们现在看到的主要是公司演示和公司评测。它们足以说明 Atlas 选择了一条清晰的技术路线,还不足以证明它已经在真实业务里创造了稳定价值。

NASA 工程师在模拟环境中测试 RASSOR 机器人

真实照片 模型之外还有硬件、环境、测试和安全。图为 NASA 工程师测试 RASSOR 机器人,NASA/Kim Shiflett,公有领域。

最近世界模型和具身智能很热。热度可能来自一条真正重要的技术方向,也可能放大成下一轮概念炒作。Atlas 能不能跨过这条线,要看 Early Access 之后有没有普通开发者可用的产品,有没有第三方在真实任务中复现效果,也要看它能否减少场景搭建、数据采集和硬件测试的实际成本。

一个世界模型的出现,无法让具身智能突然前进一大步。它需要周围那套生态一起成熟。

Atlas 已经把镜头推到了照片之外。它能不能把具身智能带进现实,要等整只水桶装住水以后再判断。

主要资料

World Labs《Atlas》发布页 APPSO 对 Atlas 发布内容的中文报道 World Labs《A Functional Taxonomy of World Models》 World Labs《Building Worlds That Train Robots》 李飞飞《From Words to Worlds: Spatial Intelligence is AI's Next Frontier》

图片来源与许可

Atlas 动图与静态图均截取或下载自 World Labs 官方发布页。 NIST 机器人测试设施照片:NIST/公有领域。 仓储机器人照片:Geni/CC BY-SA 4.0。 无人机测绘照片:Oregon DOT/CC BY 2.0。 RASSOR 测试照片:NASA/Kim Shiflett/公有领域。

以上就是这次的侦察。

如果对你有用,顺手点个赞 +「♥️」。

想第一时间收到前线情报,关注**「硅基斥候S01」**。我们,下次侦察见。