数字人和元宇宙在直播电商中的应用

新知榜官方账号

2023-07-16 22:16:44

数字人和元宇宙在直播电商中的应用

元宇宙的概念虽然有些褪色,但是元宇宙相关的数字人技术却在短视频和直播赛道找到了大展拳脚的地方,甚至有可能对当前的直播电商业态产生颠覆。2021年,创壹科技创造的抖音虚拟美妆人物柳夜熙,发布了第一条视频,仅以此视频登上热搜,获赞量达到300多万,同时涨粉丝数上百万,被称为2021年的“现象级”虚拟人。之后,越来越多的虚拟偶像或数字人出现在抖音等短视频及直播平台上,不仅获取了大量流量和粉丝,还可以7X24小时不间断直播带货,取代人工主播。

数字人,也称为虚拟人,这一应用涉及到大量底层技术,包括了3D建模技术、表情识别技术、动作捕捉技术、实时动画技术、实时渲染引擎、深度学习技术、语音识别技术等等。不同类型的数字人,涉及到的技术也不一样,比如形象上有3D卡通、二次元、超写实人物等类型;还有半身或者全身的区别。

数字人视觉制作

数字人视觉制作主要是基于形象建模、动作驱动以及视觉渲染这三大环节。数字人建立的第一步需要进行前期的形象设计以及建模。2D数字人需要原画等形象设计,3D数字虚拟人需要使用三维建模技术生成数字形象,又分为基于IP或者基于真人设计。三维建模目前主要包含静态扫描建模以及动态建模两类,其中相机阵列扫描静态重建为主流技术。动态光场重建不仅可以重建人物的几何模型,还可一次性获取动态的人物模型数据,以重现不同视角下观看人体的光影效果,是目前国内外巨头及研究机构重点发展的技术方向。单反相机阵列式人体人像扫描仪有了形象和模型后,还要驱动着模型动起来,那么就需要用到智能合成、动作捕捉相关技术。目前智能合成技术主要是实现了嘴型动作的合成,适用于半身数字人形象。如果要实现全身数字人,就需要依赖动捕。

唇形同步和语音识别

数字人除了可以说话,还要能听懂别人说什么,并且可以应答。唇形同步技术和语音识别技术的引入,不仅可以实现自动配音,还可以让数字人的口型与声音同步,视频看上去与真人主播无限接近。现有的数字人唇形同步技术包括Wav2Lip、DeepFake、PaddleGAN、Audio2Face、FaceSwap、LSTM、Audio2Lip、LipGeneration和TalkingHeadSynthesis等。数字人的语音识别技术已经非常成熟,且广泛应用于日常生活中。唇同步技术相对来说是一个比较小众的技术,却非常适合数字人应用。

数字人的AI赋能

数字人平台的技术不断完善,数字人的效果会越来越逼真,结合AI技术,会有越来越多的虚拟数字人应用于电商、教育、个人或企业宣传、医疗、客服等领域。基于ChatGPT的数字人直播应用AI技术可以大幅降低直播运营成本。将所需内容输入大模型,就能够马上得到一段文字稿。以前数字人直播需要一个场控人员来监控直播内容并回答提问。现在只需要事先在后台配置好相关问题的回答,当观众触发相关问题时,数字人主播就能智能地进行回答。数字人平台目前数字人平台除了D-ID以外,还包括腾讯智影、WarpEngine、HeyGen等。HeyGen其中HenGen平台的数字人效果非常不错,提供了数字人编辑、文本编辑、音视频编辑等功能。

本页网址:https://www.xinzhibang.net/article_detail-8042.html

寻求报道,请 点击这里 微信扫码咨询

关键词

数字人 元宇宙 直播电商

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯