Wonder3D：快速搭建可编程3D场景

Wonder3D：快速搭建可编程3D场景

Wonder3D可以快速搭建可编程3D场景，只需2∼3分钟即可从单视图图像重建高度详细的纹理网格。本文介绍了Wonder3D的安装和使用方法。

推理准备

首先安装requirements.txt中的软件包。Linux系统：conda create -n wonder3d conda activate wonder3d pip install -r requirements.txt pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch Windows系统：conda create --name venv_wonder3d -y python=3.8 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 conda install -c "nvidia/label/cuda-11.8.0" cuda-toolkit pip install fire diffutils==0.19.3 transformers bitsandbytes accelerate gradior embg segment-anything pip install einops omegaconf pytorch-lightning==1.9.5 torch_efficient_distributed_loss nerf-acc==0.3.3 PyMCubes trimesh pip install https://download.pytorch.org/whl/cu118/xformers-0.0.22.post4%2Bcu118-cp38-cp38-manylinux2014_x86_64.whl pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch

然后下载检查点并放入根文件夹中。

Wonder3D推理

首先确保你拥有以下模型：Wonder3D|--ckpts|--unet|--scheduler.bin

接下来预测前景蒙版作为Alpha通道。我们使用Clipdrop交互式地分割前景对象。你还可以使用rembg删除背景。#!pip install rembg import rembg result=rembg.remove(result) result.show()

运行Wonder3d来生成多视图一致的法线贴图和彩色图像。然后可以在文件夹./outputs中检查结果。我们使用rembg来去除结果的背景，但分割并不总是完美的。可以考虑使用Clipdrop来获取生成的法线贴图和彩色图像的蒙版，因为蒙版的质量将显着影响重建的网格质量。

accelerate launch --config_file 1gpu.yaml test_mvdiffusion_seq.py --config mvdiffusion-joint-ortho-6views.yaml 或者：bash run_test.sh

最后提取网格：cd ./instant-nsr-pl bash run.sh output_folder_path scene_name

我们生成的法线和彩色图像是在正交视图中定义的，因此重建的网格也在正交相机空间中。如果使用MeshLab查看网格，你可以单击“视图”选项卡中的“切换正交相机”。

常见问题

生成的视图的仰角和方位角是多少？A：与Zero123、SyncDreamer和One2345等之前的作品采用对象世界系统不同，我们的视图是在输入图像的相机系统中定义的。这六个视图位于输入图像的相机系统中具有0仰角的平面内。因此我们不需要估计输入图像的高程。六个视图的方位角分别为0、45、90、180、-90、-45。

生成的视图的焦距是多少？答：我们假设输入图像是由正交相机捕获的，因此生成的视图也在正交空间中。这种设计使我们的模型能够对非真实图像保持很强的概括性，但有时它可能会受到真实捕获图像的焦距镜头畸变的影响。

原文链接：http://www.bimant.com/blog/wonder3d-intro/