生成式AI驱动数字人运动研究受关注,蚂蚁集团数字人技术全链路布局

新知榜官方账号

2023-10-12 17:14:46

数字人的生成式AI与运动研究

数字人领域正在经历跨越式发展,过去需要手工制作的建模、生成交互、渲染等环节正在全面AI化。在生成式AI与大模型迅速发展的背景下,数字人研究也出现了更多新变化。在10月初即将举行的全球计算机视觉顶会ICCV2023上,我们关注到一篇生成3D数字人运动研究被大会收录。相关论文题为《HierarchicalGenerationofHuman-ObjectInteractionswithDiffusionProbabilisticModels》,由浙江大学、蚂蚁集团联合发布。据介绍,这项研究一定程度上解决了数字人远距离合成复杂运动的问题,能做到原有模型或路径规划无法实现的效果。

在给定的3D场景中合成3D人体运动,使虚拟人能够自然地在场景中漫步并与物体交互,这种效果在AR/VR、电影制作和视频游戏中都存在多种应用。在这里,传统的角色控制运动生成方法旨在由用户的控制信号引导生成短期或重复的运动,新研究则专注于在给定起始位置和目标对象模型的情况下生成更加长时间的人机交互内容。这种思路虽然效果更好,但显然挑战更大。

在新研究中,作者提出了一种新的离线方法来综合长期且多样化的人与物体交互,其创新在于分层生成策略,该策略首先预测一组里程碑,然后生成里程碑之间的人体动作。具体来说,给定起始位置和目标对象,作者设计了一个里程碑生成模块来合成沿着运动轨迹的一组节点,每个里程碑对局部姿势进行编码并指示人体运动过程中的过渡点。基于这些里程碑,算法采用运动生成模块来生成完整的运动序列。由于这些里程碑的存在,我们可以将长序列的生成简化为合成几个短运动序列。

在数字人动作的生成方法上,现有的合成方法大致可分为在线生成和离线生成。在新研究中,研究者提出了一种新的离线方法来综合长期且多样化的人与物体交互,其创新在于分层生成策略。此外,每个里程碑的局部姿态是由考虑全局依赖性的transformer模型生成的,进而产生时间一致的结果,这进一步有助于相干运动。

蚂蚁集团数字人技术全链路布局

蚂蚁集团是数字人技术的先行者之一,其数字人技术自研,选择与生成式AI结合的发展方向。从技术部署上,则涵盖数字人建模、渲染、驱动、交互的全生命周期,结合AIGC与大模型,大幅降低了数字人全链路生产成本。目前可支持2D、3D数字人,提供了播报型、交互型等多种解决方案。

根据公开资料,可以总结蚂蚁数字人平台目前具备四方面技术优势和特色:低成本建模、生成式驱动、高适配渲染、智能化交互。在最近生成式AI突破的同时,数字人领域正在经历跨越式发展,过去需要手工制作的建模、生成交互、渲染等环节正在全面AI化。随着工程师不断优化,这项技术在移动端的体验也在变得更好,刚刚结束的亚运火炬线上传递活动就是个很好的例子。

在亚运之外,蚂蚁数字人平台还支持了蚂蚁集团支付宝、数字金融、政务、五福等业务,并在今年开始应用于短视频、直播、小程序等载体向合作伙伴提供基础服务。可以预见在不久之后,伴随生成式AI加持的数字人不断升级,我们也会在更多场景中体验到更好的交互,真正进入数实融合的智能生活。

本页网址:https://www.xinzhibang.net/article_detail-16519.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章