音乐驱动虚拟人分享会

新知榜官方账号

2023-09-30 10:16:33

音乐驱动虚拟人分享会

元宇宙时代的娱乐场景下，通过高精度的AI驱动模型还原真人的歌舞表演，有着更低成本、更多创造性、精彩度、实时互动性的综合优势，是虚拟数字人驱动的最终形态。LiveVideoStackCon2022北京站邀请到腾讯音乐天琴实验室计算机视觉负责人——董治，为大家介绍TME天琴实验室在音乐驱动领域的MusicXRMaker系统，包括虚拟人舞蹈生成、歌唱表演生成、音乐灯光秀等方面的最新进展。

本次分享的主题是“音乐驱动虚拟人”，重点关注到娱乐场景下的虚拟人AI驱动方案。这是天琴实验室的虚拟人——小琴，她在QQ音乐有专门的歌手页，会发歌、发视频，未来在站内或站外都会发布作品。本次分享主要包括四部分：

虚拟表演与MusicXRMaker
虚拟人舞蹈生成
歌唱表演生成
虚拟舞台呈现

综合以上便是MusicXRMaker研发体系，包括虚拟元素创建的具体工作，通过各种途径拿到数据源，基于对音乐的理解，风格旋律情绪能量节奏段落等，实现AI生成。大体分为两类：1、端到端模型，包括分类预测、关键点预测和生成类模型；2、AI编排生成，包括召回、排序和重排。最终通过3D渲染手段应用在产品端，主要是互动场景，包括音乐世界、云蹦迪直播、KK秀和TMELand，及专门的虚拟人，包括扇宝、安可、小天、小琴等，在虚拟人方面还可以延伸出虚拟偶像视频、虚拟直播和虚拟演唱会。

虚拟人歌唱涉及到口型和表情，超写实虚拟人配备了专业的设备及面捕方案。普通虚拟人则能够直接使用普通手机摄像头，实时驱动52BS的面部表情，包括Unity兼容的ARKit、Unreal的Livelink。计算量最大部分放在了异步处理。另一套方案不涉及模型，即音素转视素，在TTS实时产生音素信息，根据得到的相应视素调整口型。最终的生成效果不仅包括歌唱口型，还需要综合生动的表情、手势、身形。

完整的虚拟舞台的呈现，除了包括虚拟人的人物表情、口型动作之外，还需要两方面：灯光舞美和运镜编导。目前的方案通过专业的灯光老师及摄影老师自己的专业经验和传统手段，并没有涉及到太多自动化动作，于是我们思考通过算法实现这部分工作，从而降低表演成本。自动运镜时需要跟踪任务的动作、手势、快慢，旋转角度等。编导还需要考虑到音乐、灯光，如灯光好看时应该呈现全局的表现、人物表现，如在人物陶醉时给面部特写，动作精美时给全身特写。

本页网址：https://www.xinzhibang.net/article_detail-14467.html

寻求报道，请

关键词

分享至微信：

相关工具

NaturalReader

AI文本转语音工具

Boomy

AI音乐生成工具

网易天音

网易推出的AI音乐创作平台

Notta

AI在线将语音转换成文字

Speechify

超2000万人都在用的文字转语音朗读器

Lemonaid

AI音乐生成工具

SkyboxAI：让游戏场景创建更简单

SkyboxAI：让游戏场景创建更简单最近，有一个很酷的工具叫做SkyboxAI，它使得创建游戏场景变得不再那么复杂和昂贵。不必是编程或设计专家，只需一些简单的操作，你就能建立出华丽的虚拟世界。这个工具的出现可能会吸引更多的人投身游戏开发领域，无需担心技术难题。这对于游戏行业来说是一个很大的改变，因

分类标签 SkyboxAI游戏场景创建NeRF算法

12-09 08:26

Clipdrop宣布推出基于人工智能生成的Uncrop工具

Clipdrop宣布推出基于人工智能生成的Uncrop工具今天，Clipdrop宣布推出Uncrop，这是一款基于人工智能生成的"outpainting"工具，可以通过创建扩展的背景来改变任何图像的比例，以补充任何现有的照片或图像。用户可以在Clipdrop的Web应用中免费尝试，无需登录！Uncr

分类标签 ClipdropUncrop人工智能

11-25 16:16

StableDoodle：通过文本提示+草图直接生成高精准的产品

StableDoodle：通过文本提示+草图直接生成高精准的产品7月14日，生成式AI平台StabilityAI在官网宣布推出StableDoodle。据悉，StableDoodle是一款通过文本提示+草图直接生成高精准的产品，例如，画一个苹果的轮廓，然后在文本框输入“这是一个苹果”选择一个3D样式

分类标签 StableDoodleAI平台图片生成

11-25 16:15

腾讯音乐与宏声文化联合打造全AI歌手 AI力宏发布首支单曲《LettingGo》

腾讯音乐与宏声文化联合打造全AI歌手 AI力宏发布首支单曲《LettingGo》据新浪科技消息，腾讯音乐娱乐集团与宏声文化有限公司联合打造的全AI歌手AI力宏，正式发布了首支单曲《LettingGo》。这是首位官方授权的声音、视觉及衍生品均由AI生成的“全AI”歌手。AI力宏的声音使用的AI合成技术

分类标签腾讯音乐宏声文化AI力宏全AI歌手LettingGo

11-23 16:12

腾讯音乐举办“TME科技乐享季”第四期“QQ音乐核心算法技术交流会”

腾讯音乐举办“TME科技乐享季”第四期“QQ音乐核心算法技术交流会”随着互联网技术的迅猛发展，数字经济正成为我国经济增长的重要引擎，在数字音乐产业迈入高速发展的新阶段，技术驱动态势更加明显。10月31日，由腾讯音乐娱乐集团（TME）主办的“TME科技乐享季”第四期“QQ音乐核心算法技术交流会”顺利举

分类标签腾讯音乐TMEQQ音乐算法技术音乐科技数字音乐

11-23 16:11

TME投资瑞迪欧，拓展公播音乐领域

中国青年报客户端北京4月27日电（中青报·中青网记者蒋肖斌）在线音乐娱乐平台腾讯音乐娱乐集团（TME）今天宣布，通过股权形式投资中国线下公播公司瑞迪欧，同时还将拥有未来进一步增持获得控股权的权利。TME已与国内外诸多音乐内容方建立了长期稳固的合作伙伴关系，聚集了众多艺人资源，拥有超过4000万的曲库

分类标签 TME瑞迪欧公播音乐

11-23 16:10

腾讯音乐2023年第一季度财报公布，在线音乐服务收入首次赶上社交娱乐服务及其他收入

腾讯音乐公布了截至3月31日的2023年第一季度财报。财报显示，该季度总收入达到70亿元，同比增长5.4%。归属于公司股东的净利润为11.5亿元，同比增长88.5%。本季度收入结构发生较大变化，在线音乐服务收入首次赶上了社交娱乐服务及其他收入，达到35亿元。一季度在线音乐服务收入同比增长33.8%，

分类标签腾讯音乐财报在线音乐服务

11-23 08:36

QQ音乐12.2版本发布，潮酷立体可互动的「3D黑胶播放器」和更多功能带来个性多元、沉浸式的听歌体验

QQ音乐12.2版本发布，潮酷立体可互动的「3D黑胶播放器」和更多功能带来个性多元、沉浸式的听歌体验当代年轻人越来越喜欢以新颖、生动的方式进行表达，哪怕是听歌也要彰显自己的个性。4月3日，QQ音乐12.2版本正式发布，潮酷立体可互动的「3D黑胶播放器」、更具时尚潮流的「个性歌单」、让爱车“更动听”的

分类标签 QQ音乐12.2版本3D黑胶播放器个性歌单车载音效音乐人专属主页TMEStudio

11-23 08:35

如果你失业了请记住这6个网站

如果你失业了请记住这6个网站利用下班后的三小时学习提升自己我终于过上了小时候梦想的生活。而这六个免费的学习网站就是我收入暴增的秘籍。如果你也想收入翻倍一定要好好利用起来，尤其是最后一个学生党、宝妈、上班族都用得上，赶紧收藏起来吧。1.稿定设计。关注我时间长的宝宝都知道我的副业收入主要来源于小红书，而

分类标签失业学习网站收入翻倍

11-20 08:29

ChatGPT成为消费者应用程序历史增长最快的工具，引发互联网巨头跟进

ChatGPT：消费者应用程序历史增长最快的工具最近，一款新聊天工具ChatGPT火了，可以聊天、写作、编程、翻译，甚至可以质疑和拒绝你的要求。自2022年11月底推出以来，ChatGPT已经成为历史上增长最快的消费者应用程序之一。网友：我写的文章还没有ChatGPT好ChatGPT的狂飙突进引来谷

分类标签 ChatGPT消费者应用程序历史增长最快的工具

11-01 02:08