迪士尼研究AI生成动画技术

首页 > 行业观察 > 迪士尼研究AI生成动画技术

迪士尼研究AI生成动画技术

新知榜官方账号

2023-10-13 02:42:35

近日，迪士尼研究所和罗格斯大学的科学家共同发表了关于AI文本生成动画模型的论文。这种算法只要在输入的文本中描述某些活动即可，不需要注释数据和进行大量训练就能产生动画。这篇论文中，研究人员进一步提出了端到端模型，这种模型可以创建一个粗略的故事版和电影剧本的视频，用来描绘电影剧本中的文字。此外，这个系统还可用于生成训练端到端神经系统的训练数据。

更复杂的文本如何转换成动画？

将文本转换为动画并不是一项简单的任务，大多数将文本转换为视频的工具不能处理复杂句子，因为输入的句子和输出的动画都没有固定的结构。为了克服这种问题，两位论文作者共同构建了一个包含多个组件模块的神经网络。这个网络由几个部分组成:一个可以自动将文本与剧本场景描述隔离开的脚本解析模块、一个自然语言处理模块（使用一套语言规则简化复杂句子，并从简化句子中提取信息，转化为预定义的动作表示），以及一个将所述表示转换为动画序列的生成模型。

动画合理性达68%

在一项定性测试中，68%的参与者认为系统通过输入剧本生成了“合理”的动画。研究人员认为，除了系统本身的局限性之外，生成动画的“不合理”成分也与文本中关于行动的模糊性有关。他们承认这个系统并不完美，它的动作和对象列表并不是详尽无遗的。有时候，词汇简化不能将动词（如“watch”）映射到相似的动画（“look”）中，或者只能为原句中有很多主语的动词创建几个简化的句子。

迪士尼的AI研究历程

迪士尼一直十分关注AI领域的进展，多年来一直尝试将AI技术融入自己的各项产业当中，也曾多次与大学或其他研究机构合作，开发了一系列训练模型。从2017年8月开始，迪士尼与苏黎世联邦理工学院合作，开发了将画面与声音连接起来的机器学习系统。2018年1月，迪士尼的研究人员发布了一项可以使动画AR角色与实际的物体互动的黑科技。2018年9月，迪士尼AI研究中心还尝试了让机器人完成像超级英雄一样的特技动作。

文本转换视频技术早已应用

从文本片段创建原始剪辑的AI并不是最新的研究发现。2016年4月，台湾创企GliaCloud就利用AI技术，将文本信息的主要内容以视频的形式展示了出来。去年，也有研究人员详细介绍了一个利用神经网络模仿生物神经元的系统，这种系统能够生成32帧长、6464像素的视频。

结语：AI生成动画或有更广阔的市场。虽然目前研究结果还不完善，但是这项研究对于文本转换视频技术也是一次有意义的尝试。迪士尼动画在全世界都有十分广泛的影响，塑造了一个又一个经典的动画形象。如今，他们在AI自动生成动画方面的研究也很可能影响整个动画电影制作市场，AI生成的方式也许将成为未来动画电影制作的新方向。

本页网址：https://www.xinzhibang.net/article_detail-16634.html

寻求报道，请

关键词

迪士尼 AI 动画

分享至微信：

相关工具

Elai.io

AI文本到视频生成工具

Fliki

AI文字转视频并配音

EbSynth

AI将真人视频转化为油画风动画

Wonder Studio

AI自动为CG角色制作动画、打光并将其合成到真人场景中

Neurodub

端到端的AI视频语音本地化工具

AVCLabs

AI自动移除视频背景

大模型创业者的挑战与机遇

背景去年末，搜狗原CEO王小川只是体验了几次ChatGPT，就确信“AGI已经来了”。后来在创业者社区的一次线上交流会上，当几位AI领域的创业者仅从功能上定义ChatGPT的进步时，王小川又明确表态“大家把这件事想小了。”坚信ChatGPT能颠覆世界的，不止王小川一人。“这并不是上一代的AI技术”，

大模型创业AI商业化落地

12-04 16:08

使用仙宫云跑SD，用户体验至关重要！

使用仙宫云进行SD渲染最近我在用SD做AI视频。家里的3060真的实在是扛不住了，实在太慢，渲染个几秒钟的动画都要几十分钟甚至一个小时。还是上云吧。其实自己以前一直是本地跑，没怎么用过云端SD，不用不知道，一用吓一跳。我自认为算是稍微专业一点的SD玩家了。还是被各种云折磨的死去活来。比如所谓的阿X云

SD云端GPU算力租赁

11-23 02:15

AI数字人：从娱乐场景到产业应用的转变

2022年是AIGC的元年，得益于大模型、多模态和数字孪生等技术的进步，AIGC被提到前所未有的高度，被称为是人工智能领域近期最大的跃进之一。随着AIGC颠覆内容生产模式，市场对于内容的要求也从简单的输出逐渐提高到内容丰富度和准确度，AI赋能内容生产正在向更低的成本，更快的速度发展。无独有偶，同年年

AIGCChatGPTAI数字人内容生成企业价值

11-16 08:40

浅谈内部CRM的SFA建设

浅谈内部CRM的SFA建设内部CRM是企业重要的管理工具之一，而SFA建设则是内部CRM中的重要组成部分。SFA（Sales Force Automation）是指销售自动化，是通过计算机和网络技术，将销售业务中各个环节进行标准化处理、自动化管理，以提高销售效率、降低销售成本、提高服务质量的一种管理

内部CRMSFA建设市场

11-07 08:02

机器人客服的崛起和普及

机器人客服的崛起和普及随着人工智能技术的不断发展和普及，机器人客服正逐渐成为企业服务的新宠。这些智能机器人具备语音识别、自然语言处理等功能，可以实现与客户的智能对话，提供快速、准确的解决方案。相比传统客服，机器人客服更加高效、便捷，让用户享受到了全天候、无延迟的服务体验。情感识别技术的应用为了提升机

机器人客服情感识别技术跨界合作AI语音助手虚拟形象多语言支持

10-29 22:20

基于学习的动画制作方法：基于卡通角色的少量图像样本就可生成新动画

背景介绍相比于依靠创作者手绘的动画，木偶动画的制作是个非常繁琐的过程，我们需要将一个动作分解成若干个环节，逐帧拍摄再连续放映为影片。近日，Adobe和康奈尔大学提出了一种名为「变形木偶模板」的动画制作方法，可实现基于少量卡通角色样本生成新角色动作，和木偶动画的制作方法倒是有异曲同工之妙。传统动画制作

动画制作变形木偶模板卡通角色图像样本学习渲染

10-13 02:48

研究人员开发出端到端机器学习系统，可以从音频中单独生成实时面部动画

浙江大学和网易伏羲AI实验室的研究人员开发出一个名为Audio2Face的端到端机器学习系统，可以从音频中单独生成实时面部动画，并调节音调和说话风格。该团队试图构建一个同时满足“逼真”（生成的动画必须反映可见语音运动中的说话模式）和低延迟（系统必须能够进行近乎实时的动画）要求的系统。他们还尝试将其推

音频面部动画机器学习

10-13 02:46

NVIDIA研究团队推出“黑科技”：仅需一个音频即可快速生成表情丰富的虚拟数字人

虚拟数字人面临表情和互动不够自然的困境随着元宇宙概念的大热，以及疫情叠加下人们对数字生活需求的增加，虚拟数字人的发展步入了快车道，出现了很多类似于华智冰、柳夜熙、翎Ling等超写实虚拟数字人。而人与这些虚拟数字人最大的区别是有感情、能够体会到喜怒哀乐，且能够把喜怒哀乐实时地通过语言、表情等来体现。而

NVIDIA虚拟数字人音频表情丰富AI技术Omniverse

10-13 02:44

华安证券“勇毅前行”2023年夏季上市公司交流会举行

华安证券“勇毅前行”2023年夏季上市公司交流会举行8月23日至24日，华安证券“勇毅前行”2023年夏季上市公司交流会在上海举行，来自计算机、电子、通信、军工、医药等20个行业的近200家龙头企业参加，就AI的未来与周期律动等前沿热门话题展开探讨。在8月23日主题“AI的未来：布局与应用”研讨会上

华安证券AI周期律动

10-13 02:30

环球音乐与YouTube合作打造音乐AI孵化器，为何环球音乐开始拥抱AI？

YouTube宣布与环球音乐合作，打造音乐AI孵化器，双方携手可以说是强强联合。首批参与者有女歌星Anitta、OneRepublic乐队主唱RyanTedder、说唱歌手YoGotti、作曲家MaxRichter等十多个人，他们都是环球音乐旗下的艺术家。环球音乐集团董事长兼CEO表示，人工智能永远

环球音乐YouTubeAI音乐音乐AI孵化器音乐产业人工智能

10-10 22:34