NeRF技术：通过照片重建逼真的3D场景

NeRF技术：通过照片重建逼真的3D场景

最近国外有个博主发了一段非常酷炫的视频。视频里，摄影镜头仿佛搭上了筋斗云，以各种不可思议的角度在车内车外飞来飞去，汽车周边的场景就像进入了多元宇宙一般瞬间变换。

短短几十秒的视频，靠着这疯狂的运镜，还有流畅的场景变换，竟收获了超过40万的播放量。而在评论区，围观群众除了对这个视频发出赞扬之外，还有一些人对这个制作过程产生了好奇，开始猜测这个视频到底是怎么做出来的。

于是我拿着这个视频去找了咱们公司的摄影师，问他能不能也给咱也拍一个这类视频？结果，摄影师看了这个视频，直呼不可能！说这个肯定是用了什么特效去做的，要么做了什么剪辑，你要是能在现实里直接拍出这种效果，他当场辞职！这个摄影师干不了了。

确实啊，咱们再回头看看这个博主的推文，有提到这个视频是采用一个叫做NeRF的最新技术制作的，并在文末@了一个叫“LumalabsAI”的账号。好家伙，这名字，看来又是AI整的活！

于是咱顺着这个“LumalabsAI”的账号，摸到了它的官网。首先映入眼帘的，就是它们的宣传视频，有一说一，这个宣传视频里的运镜，确实是有点那味了。而所有的这些效果，都是由LumalabsAI开发的一个叫做“LumaAI”的APP来做的。在这款应用的简介中，它是这么介绍自己的：“Luma是一种通过AI使用iPhone创建令人难以置信的逼真3D的新方法。无论您身在何处，都可以轻松捕捉产品、物体、风景和场景。从您的捕捉中创建电影产品视频、TikTok和现实中不可能的相机移动，或者只是重温那一刻。无需激光雷达或花哨的捕捉设备，您只需要一部iPhone11或更新机型。”

简单来说，就是只要你有一部苹果11以上型号的手机，那你只需要给场景周围拍一些照片，就能利用这个APP生成拍照现场的3D场景。看到这么简单，世超也有点心动了，于是也立马下载了一个来试试。打开应用，对着箱子上的橘子一顿卡卡乱拍，不出几分钟，就生成了一个这样的场景。整个场景虽然在远处缺少照片信息的地方效果不大行，但是近处对焦部分，整个橘子和箱子的细节还是非常还原的。

在它的官网中还有很多用户上传的场景演示。比如下面这个铜象画面，如果不告诉你，很难发现这居然是一个3D场景。因为它不仅完美的还原了小象的细节，周围的光照，阴影，甚至连透明玻璃的效果，都给完整复现了。

LumaAI除了能还原铜像这种小场景外，它甚至还能给你还原使用航拍机拍摄的超大范围场景。比如就有用户使用航拍机拍摄了一个小镇的全景，然后使用LumaAI将这整个小镇3D还原，看看这效果，就突出一个“真”。

使用LumaAI创建出这些3D场景后，接下来只需要把场景置入3D软件，然后添加一个虚拟摄像机，剩下的效果呈现，就看这些创作者的创意啦。就像这个油管博主，他为了满足自己变大的爱好，生成了一个场景，然后把自己身体放大，做出了一个类似巨人入侵的特效。

除了重建3D场景外，LumaAI还能对单个3D模型重建，比如通过拍照直接生成高达模型，再放到虚幻引擎里，整个场景瞬间就有了科技感。这种建模方式相比传统一点一线的建模方式，那可省了不少功夫。

其实像LumaAI这种做3D重建的软件也不少，在AppStore里的Polycam就能通过苹果自带的雷达扫描，来估算距离和点云信息，从而重建出一个3D场景。但LumaAI不仅不依赖雷达扫描，效果还这么好。这其中离不开这么一个技术，也就是开头那个博主提到的NeRF（神经网络辐射场）。

这个NeRF最早发布于2020年的ECCV会议，不但囊获了当年的最佳论文，还成功的以一己之力，开启了计算机视觉的另一个研究方向。NeRF的基本原理就是通过一大堆带有位置信息的2D照片，来训练得出一个神经辐射场模型。通过这个模型，就能得出任意视角下的清晰照片，这也就意味着，你能通过这个训练好的模型，重建出3D场景了。而且这个论文自发布后，以NeRF为基础的各种分支方向的技术也如雨后春笋般冒了出来。

华盛顿大学和谷歌就联合提出了HumanNeRF，主要用于人体3D重建，还有用于场景风格迁移的StylizedNeRF，通过拍摄照片，生成3D图，然后再对整个场景风格进行转换，变成自己想要的风格。还有东京大学提出的动画方向的NeRF，这个项目就不单单是生成一个静态的场景了，它甚至可以把运动的角色和物体都给你生成出来。

像这类的分支研究，已经多到一篇文章写不下来了，世超就不再这里一一展示了。不过世超是巴不得NeRF这个方向的研究越来越卷，毕竟只需要通过照片就能生成一整个复杂的3D场景，这对于生产力解放的帮助可不要太大。去年Epic收购的公司Capturingreality，它们的产品主打的就是通过照片来生成高精度模型。这种只需要一部手机，就能把现实搬进虚拟世界的技术，在未来，不仅仅是制作视频的自由度更高。游戏行业，工业场景，甚至是在线教育，都可能迎来翻天覆地的变化。到时候，虚拟和现实，可就真的傻傻分不清楚了。