新知榜官方账号
2023-07-01 19:06:26
现在,依靠的都是“关键帧”。如果帧与帧之间联系不紧密,就会出现这种诡异的“闪烁画风”——而这也是AI生成视频最大的瓶颈之一。现在,来自南洋理工大学的团队,终于解决了这个问题,研究在推特上掀起了不小热度。
研究人员提出了一种新框架,核心是提升AI生成视频时帧与帧之间的连贯性。这个框架包含关键帧翻译(keyframetranslation)和完整视频翻译(fullvideotranslation)两部分。第一部分基于扩散模型生成关键帧,基于跨帧约束加强这些关键帧之间的一致性;第二部分则通过基于时间感知的匹配算法将其他帧与关键帧“连接”起来。框架的核心,在于第一部分。研究人员给这部分提出了一种新的分层跨帧一致性约束方法,在原视频基础上,利用光流来约束帧与帧之间的关系。其中,第一帧相当于整个视频的“锚点”,用于控制视频的整体走向;后续的每一帧,则都会以前一帧作为参考,防止生成的图像偏离最初的风格、形状、纹理和颜色等。
相比之前的AI视频生成模型,这个框架最大的优势在于,当输入一个新视频的时候,它不需要再用这个视频材料重新进行训练,换而言之就是零样本学习。只需要输入一段提示词+一段视频,框架就能自动将视频“翻译”出你想要的效果。
作者们还展示了提示词对于视频生成的控制效果。例如在相同输入下,只要更改一段提示词中的“关键字”,AI就能在几乎不改动其他元素的情况下,生成一段新的视频,例如换个发型、换种风格,或是将狗头换成狐狸头。
23名志愿者对新框架生成的视频质量进行了综合评分,评估指标有三个,结果显示,这个框架在“人类评分”中均取得了不错的水平。
相关工具
相关文章
推荐
用Deepseek写AI绘图提示词,像呼吸一样简单!
2025-02-19 16:12
你以为AI绘画是黑科技?其实早成了“路边摊生意”!
2025-02-19 10:15
Flux爆火,全网最全面最详细的Flux使用教程!
2025-02-18 14:19
用AI如何创作音乐,实战教学来啦!
2025-02-17 17:23
MidJourney让你秒变绘画大神,从零开始画哪吒!
2025-02-17 14:56
AI应用新境界:让人工智能成为你的得力助手
2025-02-14 15:45
AI短片革命:当创作遇上智能,人人都能成为导演
2025-02-14 14:53
AI狂潮下的人类职场:是失业危机还是进化契机?
2025-02-13 16:53
开启影视创作新纪元,效率提升 10 倍的神器来了!
2025-02-13 15:11
深度解析DeepSeek:当AI技术照进创作产业的未来
2025-02-12 17:16