新知榜官方账号
2023-07-01 19:06:26
现在,依靠的都是“关键帧”。如果帧与帧之间联系不紧密,就会出现这种诡异的“闪烁画风”——而这也是AI生成视频最大的瓶颈之一。现在,来自南洋理工大学的团队,终于解决了这个问题,研究在推特上掀起了不小热度。
研究人员提出了一种新框架,核心是提升AI生成视频时帧与帧之间的连贯性。这个框架包含关键帧翻译(keyframetranslation)和完整视频翻译(fullvideotranslation)两部分。第一部分基于扩散模型生成关键帧,基于跨帧约束加强这些关键帧之间的一致性;第二部分则通过基于时间感知的匹配算法将其他帧与关键帧“连接”起来。框架的核心,在于第一部分。研究人员给这部分提出了一种新的分层跨帧一致性约束方法,在原视频基础上,利用光流来约束帧与帧之间的关系。其中,第一帧相当于整个视频的“锚点”,用于控制视频的整体走向;后续的每一帧,则都会以前一帧作为参考,防止生成的图像偏离最初的风格、形状、纹理和颜色等。
相比之前的AI视频生成模型,这个框架最大的优势在于,当输入一个新视频的时候,它不需要再用这个视频材料重新进行训练,换而言之就是零样本学习。只需要输入一段提示词+一段视频,框架就能自动将视频“翻译”出你想要的效果。
作者们还展示了提示词对于视频生成的控制效果。例如在相同输入下,只要更改一段提示词中的“关键字”,AI就能在几乎不改动其他元素的情况下,生成一段新的视频,例如换个发型、换种风格,或是将狗头换成狐狸头。
23名志愿者对新框架生成的视频质量进行了综合评分,评估指标有三个,结果显示,这个框架在“人类评分”中均取得了不错的水平。
微信扫码咨询
相关工具
相关文章
推荐
阿里Accio中文版上线!一键搞定复杂采购
2025-08-19 09:13
视频“用嘴编辑”的时代来了,但钱包顶得住吗?
2025-08-15 17:59
智谱新模型GLM-4.5V全面开源,玩家们有福啦!
2025-08-12 17:56
扎心文案+AI插画=爆款!揭秘8万赞视频的制作全流程
2025-08-12 10:08
GPT-5没你想的那么好,附实测体验~
2025-08-11 11:07
一站式搞定AI绘图+视频,AI短片效率飙升的秘密在这儿!
2025-08-08 09:26
打工人新神器!10款国产AI,让你告别996!
2025-08-08 09:24
豆包视觉推理深度体验,AI也能“边看边想”了!
2025-08-08 09:19
300美元的AI男友来了!马斯克的情感生意从女友做到男友
2025-08-01 17:56
Agent智能体:2025年企业新员工,月薪仅需一度电?
2025-07-30 17:49