一句话就能创造3D模型，OpenAI的AI神器放飞想象力

来源丨元宇宙简史

编写丨元宇宙简史主理人 Fun

【元宇宙导读】OpenAI 近日发布条件生成模型 Shap-E，可用来生成3D资产。据悉，该模型不像传统模型只是产生一个单一的输出表示，Shap-E 生成隐含函数的参数。这些函数可以被渲染成纹理网格或神经辐射场（NeRF），从而可以生成多功能的、现实的3D资产。

3D模型是现代科技和艺术的重要载体，它们可以用于游戏、动画、虚拟现实、3D打印等各种领域。

然而，要制作出一个高质量的3D模型并不容易，它需要专业的软件、硬件和技能，以及大量的时间和精力。对于普通人来说，想要把自己的想法变成3D模型，成本非常大。

但是，如果有一种神奇的工具，可以让你用一句话就能创造出一个3D模型，你会怎么想？

你可以随心所欲地描述出你想要的物体，或者根据自己的喜好来定制一些实用的东西。你甚至可以把你的文字转化成真实的物品，比如打印出一个杯子或者一个玩具。

这听起来像是科幻小说里的情节，但其实已经成为了现实。ChatGPT的母公司OpenAI，近日发布了一款名为Shap-E的条件生成模型，它就可以用来生成3D模型。

据悉，该模型不像传统模型只是产生一个单一的输出表示，Shap-E 生成隐含函数的参数。这些函数可以被渲染成纹理网格或神经辐射场（NeRF），从而可以生成多功能的、现实的3D模型。

01、Shap-E 是什么？

Shap-E 是一个基于文本提示和图像的3D资产生成模型。它能够生成两种不同的3D表示形式：纹理网格和神经辐射场。

纹理网格是一种用顶点、边和面组成的3D物体表面表示方法。它们可以被赋予不同的颜色和纹理，从而增加视觉效果。纹理网格适合用于游戏、动画和其他需要高效渲染的场景。

神经辐射场是一种用神经网络来表示3D场景中每个点的颜色和密度的方法。它们可以捕捉到细微的光照和遮挡效果，从而产生逼真的图像。神经辐射场适合用于照片级别的重建和合成。

Shap-E 的创新之处在于，它可以直接生成隐含函数参数，而不是生成具体的3D表示形式。隐含函数是一种用数学公式来描述3D物体表面的方法。它们可以被转化成任意分辨率和任意视角的纹理网格或神经辐射场，从而提供了更大的灵活性和多样性。

02、Shap-E 是如何工作的？

Shap-E 的工作流程分为两个阶段：编码阶段和生成阶段。

在编码阶段，Shap-E 使用一个编码器将3D资产映射到隐含函数参数。编码器是一个深度神经网络，它接受一个3D资产（例如一个点云或一个体素）作为输入，并输出一个向量，这个向量就是隐含函数参数。

在生成阶段，Shap-E 使用一个条件扩散模型来生成隐含函数参数。条件扩散模型是一种基于扩散过程的生成模型，它接受一个条件（例如一个文本提示或一个图像）作为输入，并输出一个向量，这个向量也是隐含函数参数。

通过这两个阶段，Shap-E 就可以根据给定的条件来生成3D资产。生成出来的隐含函数参数可以被渲染成纹理网格或神经辐射场，并显示在屏幕上。

03、Shap-E 相对传统模型软件有哪些优势？

Shap-E不同于传统的3D生成模型，它不是产生一个单一的输出表示，而是直接生成隐含函数的参数。这些函数可以被渲染成纹理网格或神经辐射场（NeRF），从而可以生成多功能的、现实的3D模型。

- 同时支持两种不同的3D表示形式：纹理网格和神经辐射场。这使得它可以适应不同的应用场景和需求；

- 直接生成隐含函数参数，而不是生成具体的3D表示形式。这使得它可以避免了分辨率、视角和拓扑结构等限制，并提供了更大的灵活性和多样性；

- 快速地生成高质量和高复杂度的3D资产。根据论文中的实验结果，Shap-E 在训练时收敛得更快，在测试时达到了更好或者相当于其他模型（例如Point-E）。

04、Shap-E 主要应用场景有哪些？

Shap-E 作为一款创造性和实用性兼备的3D生成模型，有着广泛的应用前景：

- 游戏开发：快速地设计出各种风格和主题的游戏角色、道具和场景，并且可以根据玩家喜好进行定制；

- 动画制作：创造出各种富有表现力和想象力的动画角色、物品和背景，并且可以根据剧情需要进行变化；

- 虚拟现实：构建出各种逼真和沉浸式的虚拟现实环境，并且可以根据用户交互进行调整；

- 3D打印：将用户输入的文字或者图像转化成可打印的3D模型，并且可以根据用户需求进行修改；

- 教育娱乐：提供一种有趣和富有创造力的学习方式，让用户通过文字或者图像来探索三维世界，并且可以增加用户对于几何、物理和艺术等方面知识。

严正声明：本文为元宇宙简史原创，未经授权禁止转载！内容仅供参考交流，不构成任何投资建议。任何读者若据此进行投资决策，风险自担。