用DALL·E2模型实现视频换装，丝滑切换无缝衔接

新知榜官方账号

2023-07-05 21:28:53

用DALL·E2模型实现视频换装，丝滑切换无缝衔接

一位twitter博主借助DALL·E模型，成功给视频中的人物虚拟换装。DALL·E是OpenAI推出的文本转图像模型，生成效果奇幻且逼真。升级为DALL·E2后，生成图像具有更高的分辨率和更低的延迟。值得注意的是，DALL·E2还添加了一个图像编辑功能，可以修改图像的部分区域，例如在下图中3的位置加一只柯基犬：

现在，twitter用户KarenX.Cheng把DALL·E2的这个编辑功能用在了视频换装上，我们看到视频中的女生在往前走的过程中换了多套衣服，并且丝滑切换，无缝衔接。要了解这个视频用到的方法，我们首先要了解一下DALL·E生成「数字化」服装的能力。日前，一位名为PaulTrillo的twitter用户此前展示了他与艺术家ShyamaGolden合作完成的上百套设计服装。相比于大多数用AI进行服装设计的研究，DALL·E2的优点就是让设计者可以使用文本描述来扩展设计空间，其文本到图像的强大生成能力可以完成很多新奇的设计思路。而KarenX.Cheng发布的换装视频不仅生成了多套服装，还能在人行走运动的过程中丝滑切换，我们来具体看一下她是怎么做的。

KarenX.Cheng首先涂抹掉现有服装的一部分，然后在上面涂上颜色。这一步她也考虑过涂抹掉整个衣服，但生成结果看起来没有那么好，因此选择保留衣服原有的一小部分，这样一来，DALL·E能够更好地匹配颜色和照明。如下动图所示，衣服上身被涂抹掉，最后生成了三种不同类型的上衣。

然后一个关键的难题是DALL·E在生成图像方面表现卓越，但在视频上就不太行了，要让DALL·E生成的图像实现帧与帧之间的一致性是很困难的。这里KarenX.Cheng列举了一些早期试验的失败案例，下面动图在换装时，很明显能看到不同衣服之间存在交叉部分：

可能有人会问，让DALL·E在每一帧中生成不同的衣服，衣服存在交叉部分问题就可以解决了。但作者想要的效果是同一套衣服坚持几帧，以实现较好的展示效果，但这是DALL·E目前做不到的。经过一番实验，作者发现了一个可用的工具EbSynth，该工具主要是将视频素材转换为各种风格的动画。简单来说，就是从一段视频中选出几张图，然后根据自己的喜好，换成你想要的风格，整个视频就能全部变成你期望的画风了。效果如下所示：

EbSynth擅长风格转换，如果把DALL·E生成静态图和EbSynth转换视频风格的功能结合起来，就能够形成视频中无缝换装的效果：

最后作者还用到了DAIN（视频补帧）工具，该工具可以给一些动作场面添加新的帧，让整个视频看起来更加流畅。作者用实验证明了这一点。这样KarenX.Cheng就完成了整个换装视频。有网友表示希望作者开设一门课程，专门介绍这项研究，详细解读一下。还有网友调侃道网络红人甚至不用再买新衣服了：看来以后穿搭博主的视频也可以用上DALL·E这样的AI模型了。

参考链接：https://twitter.com/karenxcheng/status/1564626773001719813

本页网址：https://www.xinzhibang.net/article_detail-6014.html

寻求报道，请

关键词

分享至微信：

相关工具

Elai.io

AI文本到视频生成工具

Veed Video Background Remover

Veed推出的AI视频背景移除工具

HeyGen

AIGC 视频创建平台，生成吸引人的商业视频

绘影字幕

一键智能在线自动为视频加字幕

Rephrase.ai

AI文字到视频生成

Kaiber

图片文字转视频的AI引擎

周杰伦新歌《说好不哭》上线，AI能否模仿他的风格？

周杰伦新歌《说好不哭》火爆网络Jay迷编辑部发自凹非寺量子位报道|公众号QbitAI你今早被周杰伦刷屏了吗？新专辑单曲《说好不哭》昨晚23点上线，迅速火遍社交网络，刷屏朋友圈，27分钟上热搜第一，带火MV男主女主，一榜微博热搜里，7个都是周杰伦新歌相关……。单曲售价3元，上线7分钟，销售额破500万

分类标签周杰伦新歌AI

04-18 16:42

谷歌AI的七个“不正经”玩法

谷歌AI的七个“不正经”玩法谷歌最近发布了几只比较搞笑的AI，可以完成一些不走寻常路的工作，比如帮你实现靠脸吃饭，让你说的跟唱的一样。以下是谷歌AI的七个“不正经”玩法：说的跟唱的一样跳着舞就把琴弹了靠脸吃饭用声音画画这些玩法背后的AI动力，主要是谷歌的TensorFlow.js等工具，让机器学习技

分类标签谷歌AI不正经玩法创造力音乐可视化

04-18 16:42

AI绘图与人类绘图的优劣势分析

1. AI绘图和人类绘图的优劣势AI绘图技术通常使用机器学习和深度学习算法，可以在大量数据的基础上进行学习和模拟，从而自动生成图像。与人类绘图相比，AI绘图可以在很短的时间内生成大量图像，而且不会因为疲劳或情感变化而产生质量波动。然而，AI绘图仍然存在一些局限性。例如，由于机器无法理解艺术的概念和感

分类标签 AI绘图人类绘图机器学习

04-18 16:42

每日必看的AI前沿

每日必看的AI前沿IT之家报道，谷歌DeepMind最近推出了AI音乐生成大模型Lyria和两个新功能DreamTrack和MusicAI。用户可以使用DreamTrack输入文本提示并挑选参与的音乐人（包括AlecBenjamin、CharliePuth等），从而获得模仿音乐人风格的30秒原创音乐

分类标签 AIDeepMindCircularRingSlim

04-18 16:42

用文字创作音乐？Google最新人工智能模型MusicLM可以实现！

MusicLM的原理、特点和用途MusicLM是Google在今年一月发布的一个革命性的人工智能模型，它是基于Google的AudioLM模型开发的，它是一个专门针对音乐的语言模型。它可以理解和生成不同的音乐元素，如旋律、节奏、和声、风格等。它可以根据用户输入的文本描述，如“一段平静的吉他旋律，6/

分类标签 MusicLM人工智能音乐创作

04-18 16:42

生成式AI与仿真

生成式AI和仿真模型广泛应用于各行各业，以优化流程、为决策提供信息并创建数字孪生。几十年来，仿真模型一直被用来对复杂的系统和过程进行建模。这些模型的发展是由计算能力的进步以及收集和分析大型数据集的能力推动的。将人工智能（特别是生成式人工智能）集成到仿真模型中代表了其发展的下一步，使组织能够创建更准确

分类标签仿真模型生成式AI数字孪生优化流程决策元宇宙

04-18 16:42

Google的Lyria：人工智能音乐生成模型的未来

Lyria：人工智能音乐生成模型的未来Lyria是一个先进的人工智能音乐生成模型，它可以根据用户的输入生成高质量的歌曲，包括歌词、旋律、节奏和人声。Lyria是由GoogleDeepMind开发的，它可以模仿流行歌手的风格和声音，也可以让用户对输出的风格和表现有更细致的控制。Lyria目前正在You

分类标签 GoogleLyria人工智能音乐DreamTrack

04-18 16:42

AI绘画：StableDiffusion从入门到精通

AI绘画：StableDiffusion从入门到精通本书从艺术教育工作者和现代艺术设计师的视角，系统地介绍了人工智能绘画的相关知识与应用技能。全书内容涵盖了AI绘画的发展、原理、工具与应用，并重点围绕主流工具StableDiffusion进行详细介绍。书中深入讲解了软件的操作、指令控制、图生图技巧、

分类标签 AI绘画StableDiffusion人工智能

04-18 16:42

泡泡玛特旗下艺术推广机构innerflow首次亮相上海ART021

泡泡玛特旗下艺术推广机构innerflow首次亮相上海ART02111月11日-14日，泡泡玛特旗下艺术推广机构innerflow首次亮相上海ART021，展出多位国内外合作艺术家的画作及雕塑。innerflow创立于2021年，旨在与全球画廊、艺术家联合打造高端艺术衍生品，目前主要开发的品类有版画

分类标签 innerflow艺术衍生品ART021

12-05 02:09

哪些绘画生成app能够生成山水画效果？

绘画生成app能够生成山水画效果随着数字技术的不断发展，人们对于艺术创作的方式也发生了巨大的变化。如今，借助于智能手机和应用程序，我们可以在指尖上创造出各种令人惊叹的艺术作品。而当谈到绘画生成app时，有一个特别引人注目的功能：生成山水画效果。那么，有哪些绘画生成app能够提供这样的功能呢？本文将从

分类标签绘画生成app山水画效果美术加AIappArtFlow

12-02 22:16