AI隐身衣技术:基于光流边缘引导的视频补全算法

新知榜官方账号

2023-10-27 16:12:15

隐身衣技术的背后

今年ECCV上最神奇的AI隐身衣技术,让人们惊叹。基于光流边缘引导的视频补全算法,实现完美去水印、删人物的「隐身」超能力。本文介绍了这项技术的具体实现方法和实验结果。

光流引导视频修复算法

这种完美去水印、删人物的「隐身」超能力,实际上是一种基于光流的视频修复算法。此前,量子位就曾经介绍过港中大商汤联合实验室和南洋理工大学的光流引导视频修复算法。不过,以往的基于光流的方法往往无法保留运动边界的锐度,使得修复后的画面不够平滑。

为了解决这些问题,来自弗吉尼亚大学和Facebook的研究团队主要采取了以下三种方法:分段平滑流补全(Piecewise-smoothflowcompletion)、非局部流连接(Non-localflowneighbors)和无缝融合(Seamlessblending)。

实验结果

从视觉效果上来说,这只AI的隐身大法修炼得十分成功。与Diffusion和商汤的徐瑞等人的算法相比,新方法提供了更为清晰的运动边界,效果更加平滑。在DAVIS数据集上,研究人员将该方法与现有方法进行对比,比较了水印之类的静止对象和运动对象两类合成掩码的视频补完结果。结果显示,新方法在各项指标上都达到了最佳性能。

作者信息

这项酷炫的AI隐身衣技术由弗吉尼亚理工大学和Facebook打造。一作是弗吉尼亚理工大学的三年级博士生ChenGao。他的研究方向是计算摄影和计算机视觉,师从弗吉尼亚理工大学助理教授Jia-BinHuang。这项工作是他在Facebook实习期间完成。目前,他在谷歌担任研究实习生。作者还表示,会很快开源这件AI隐形衣的代码,并放出在线Demo。

本页网址:https://www.xinzhibang.net/article_detail-18138.html

寻求报道,请 点击这里 微信扫码咨询

关键词

AI隐身衣 光流引导视频修复算法 视频补全算法

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯