用人工智能生成3D模型的14种工具

DreamFusion

创建者：谷歌、加州大学伯克利分校
首次发布：2022年9月

DreamFusion可以根据文本输入生成3D模型。它本质上是DreamFields的扩展版本，DreamFields是Google于2021年推出的生成3D系统。DreamFusion几乎不需要事先训练，这意味着它可以在没有3D数据的情况下生成对象的3D表示。它使用由Imagen文本到图像扩散模型生成的对象的2D图像来理解它尝试生成的模型的不同视角。

Point-E

创建者：OpenAI
首次发布：2022年12月

Point-E的工作原理与OpenAI的图像生成工具DALL-E相同-只需输入“戴着圣诞老人帽子的柯基犬”之类的内容，系统就会生成3D模型。Point-E可以在单个GPU上仅用一到两分钟生成3D模型。它还拥有图像转3D功能，这意味着图像可以与文本一起用于输入。

GAUDI

创建者：苹果
首次发布：2022年8月

Gaudi以著名西班牙建筑师的名字命名，由Apple的研究人员创建，用于根据文本提示生成3D场景。用户可以使用自然语言从任何角度重新绘制场景，从而创建建筑物的内部扫描。GAUDI还可以通过文本在3D室内场景中生成新的摄像机运动，例如用户输入“穿过走廊”。

MVDream

创建者：TikTok母公司字节跳动、加州大学圣地亚哥分校
首次发布：2023年8月31日

MVDream是该列表中的最新模型之一。字节跳动和加州大学圣地亚哥分校的研究人员开发了一种扩散模型，可以根据文本输入生成高质量的3D渲染。MVDream可以生成模型的多个视图，这些视图是几何一致的多视图图像。可以使用DreamBooth3D等工具对该模型进行微调，以实现个性化3D生成。

Magic3D

创建者：英伟达
首次发布：2023年3月

Magic3D是一种预先训练的文本到图像扩散模型。它可以根据文本提示创建高质量的3D网格模型。Magic3D采用两阶段过程：它使用低分辨率扩散创建粗略模型，然后，系统使用稀疏3D哈希网格结构，并通过高效的可微渲染器进一步优化，以创建最终输出。Magic3D可以在40分钟内创建高质量的3D网格模型。

COLMAP

创建者：JohannesL.Schönberger，微软混合现实和人工智能实验室
首次发布：2021年10月

COLMAP是一个开源3D重建管道，具有图形和命令行界面。它可用于从少量图像生成详细的3D环境。COLMAP用户可以导出3D网格-尽管要对其进行细化，需要使用MeshLab等程序。

PointLLM

创建者：香港中文大学、上海人工智能实验室、浙江大学
首次发布：2023年8月

PointLLM旨在帮助3D生成。这种方法可以帮助PaLM和Llama等大型语言模型理解3D数据。使用PointLLM，人工智能研究人员可以在其数据集中充分利用点云（代表3D形状或对象的数据点）。

Gliastar

Gliastar是AI驱动的视频创建工具，可以通过文本输入为品牌角色制作动画。只需向Gliastar提供角色的2D或粗略3D表示，将模型集成到GliaStarAI动画系统中，系统就会在几分钟内自动生成所需吉祥物的3D动画。

3DFY.ai

3DFY.ai可以根据文本提示或单个图像创建高质量的3D模型。3DFY.ai3D生成管道可以快速自动生成3D输出-用户能够测试文本到3DWeb服务以尝试自己的提示。

Fotor

Fotor可让你根据文本描述生成3D模型。用户可以为各种应用创建详细的3D模型。Fotor还拥有AI3D角色生成器，用户可以在几分钟内创建独特且详细的角色。

Spline

借助Spline，用户可以使用自然语言输入实时生成3D模型和表示。样条曲线不仅可用于制作3D模型，还可用于制作动画和纹理。

Meshcapade

Meshcapade构建虚拟化身——使用生成式AI为电子商务设置等业务应用程序创建准确的数字人类。Meshcapade的SMPL系统使用机器学习来捕获个人3D体型的统计数据。

MasterpieceStudio

借助MasterpieceStudio，你可以使用AI生成3D资产。MasterpieceStudio构建了3D创作软件，非技术背景的用户可以使用该软件来创建从概念到动画的3D内容。Masterpiece团队与Meta合作构建了MasterpieceX，它允许创作者重新混合现有的3D资产。你也可以在MetaQuest商店中访问它。

LumaAI

借助Luma，用户可以在几分钟内生成逼真的3D资源和环境。Luma可通过移动设备使用，因此iOS用户可以通过手机使用其3D生成工具。