李飞飞创业首个项目引围观：单图生成交互3D场景，空间智能来了

机器之心报道

机器之心编辑部

这是空间智能的第一步。

「无论怎样理论化，我们还是很难用语言来描述与照片或句子生成的 3D 场景交互的体验，」李飞飞说道。

北京时间今天凌晨，著名 AI 学者、斯坦福大学教授李飞飞公布了她的第一个创业项目。这是一个能用单张图片、一句话生成 3D 世界的神奇项目。

生成式 AI，从此进入了 3D 化、完全沉浸式的新时代。

只用一张图生成的 3D 世界会有多精细？World Labs 表示，效果是这样的：

这里是更多效果展示：

此前，我们已经见证了一系列会制作 2D 内容的生成式 AI 工具，它们可以输出图像或视频。相比之下，生成 3D 内容的方法并不多见。直接生成 3D 内容可以提高对内容的控制力和一致性，这将改变我们制作电影、游戏、模拟器和其他物理世界数字表现的方式。

网友纷纷看好 World Labs 的首个项目，认为它既看起来炫酷，又很有前景。

纽约大学助理教授谢赛宁表示，「想象是生成式的，控制是 3D 的。」

的确，当我们把 AI 生成的内容提升到 3D 物体层面上之后，「想象力」与可操作性终于得到了统一，这就为以后的无数应用打开了大门。

在 World Labs 的博客中，团队展示了他们如何探索 3D 生成式世界，并在浏览器中实时呈现，包括相机效果、3D 效果和经典绘画。

探索世界

下面展示了由奇幻图片和日常照片生成的 3D 世界一些官方示例。

相机效果

一旦场景生成完，之后会使用虚拟相机在浏览器中实时渲染。精确控制该相机可实现艺术摄影效果。

可以模拟景深，只有距离相机一定距离的物体才能聚焦：

还可以模拟滑动变焦，同时调整摄像机的位置和视野：

3D 效果

大多数生成模型预测像素，但预测 3D 场景有很多优势：

持久现实：一旦生成一个世界，它就会一直存在。即使你移开视线再回来，场景也不会改变。

实时控制：生成场景后，你可以在场景中实时移动。你可以停留在一朵花的细节上，也可以窥探角落里的一举一动。

正确的几何形状：生成的世界符合三维几何的基本物理规则。它们具有实体感和深度感，与某些人工智能生成的视频的梦幻性质形成鲜明对比。

可视化 3D 场景的最简单方法是绘制深度图，其中每个像素都按其与摄像头的距离着色：

我们可以利用 3D 场景结构来构建交互效果：

还可以构建特效，让场景活跃起来：

走进世界名画

World generation 还有一个应用方式：体验标志性艺术作品。这里是根据梵高、霍珀、修拉和康定斯基的最爱作品生成的，模型没有生成原画之外的任何东西。

创意工作流

World Labs 让 3D 世界生成自然地与其他 AI 工具组合在一起。这使得创作者可以使用他们已知的工具来实现新的体验。

例如，可以通过首先使用文本到图像模型生成图像来从文本创建世界。不同的模型有自己的风格，World Labs 生成的 3D 世界可以继承这些风格。

例如，使用不同的文本到图像模型生成同一场景的四个变体，全部使用相同的提示：

一间充满活力的卡通风格的青少年卧室，里面有一张铺着彩色毯子的床，一张杂乱的桌子，上面有一台电脑，墙上贴着海报，还有散落的运动装备。一把吉他靠在墙上，中间是一张舒适的带图案的地毯。窗外的光线为房间增添了温暖、年轻的氛围。

World Labs 已经让一些创作者提前了解了技术，开始尝试 3D 原生生成 AI 工作流带来的可能性。

Eric Solorio 展示了 World Labs 的模型如何填补其创意工作流中的空白，使场景中的角色轻松上演并指导精确的摄像机移动：

Brittani Natali 使用将 World Labs 技术与 Midjourney、Runway、Suno、ElevenLabs、Blender 和 CapCut 等工具相结合的工作流程，在生成的世界中精心设计了摄像机路径，以唤起三部短片的不同情绪：

最后，World Labs 表示这些结果是他们生成 3D 世界的第一个早期预览。他们正在努力改善生成的世界的大小和保真度，并尝试用户与其交互的新方式。

对此，你怎么看？

参考链接：https://www.worldlabs.ai/blog

© THE END

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com