火山语音提出基于篇章级情节理解的有声小说配乐系统

新知榜官方账号

2023-10-07 16:48:26

火山语音提出基于篇章级情节理解的有声小说配乐系统

近日，火山语音（字节跳动AILab智能语音与音频团队）提出了一种基于篇章级情节理解的有声小说配乐系统，能够自动化地挑选并组合出贴合文章情节、烘托感情氛围的背景音乐，同时与语音合成的有声小说音频进行精准的时间戳对齐和混音，极大节省了后期配乐的人力投入。

该系统可以分为情节划分（Plot Partition）、情节分类（Plot Classification）和音乐选择（Novel Selection）三个部分。前两部分主要通过NLP技术实现了篇章级语意理解，能够自动将小说文本进行片段式的情节划分，做到预测多达十二类的情节；第三部分则实现了基于语意及小说音频长度的启发式规则，自动化地从音乐库中选择合适的音乐片段并与小说音频进行自动混音。该系统在与人工配乐的对比实验中，目前的合格率已追平人工水平（均为88.75%）；优秀率也高达45%，但对比人工52.5%的数据指标还略有差距。有声小说自动化配乐系统框架在语音合成有声小说的场景和业务中，自动化精配背景音乐的加入不仅能够大幅度提升用户的听觉感受和代入感，还极大降低了音频后期的人力投入成本。目前，自动化精配背景音乐已经在番茄小说等业务中开始应用。

其他研究成果

除了有声小说配乐系统外，火山语音团队还在Interspeech2022中共有七篇论文成功入选，内容涵盖音频合成、音频理解等多个技术方向的突破。以下是其中的几篇论文：

一种借助声学参考特征和对比学习的高品质歌唱转换方法
结合对话上下文的流式RNN-T语音识别
基于连续整合发放机制的融合说话人差异和语音内容的字级别说话人转换点检测
基于多任务和迁移学习方法的MOS自动打分
使用原始序列流利度特征提升口语流利度打分性能

本页网址：https://www.xinzhibang.net/article_detail-15744.html

寻求报道，请

关键词

分享至微信：

相关工具

魔音工坊

短视频/有声书AI配音平台，由出门问问推出

Beatoven.ai

免版税AI音乐创建平台

Soundraw

AI音乐生成工具

Mubert

AI BGM背景音乐生成工具

Clipchamp AI旁白生成器

Clipchamp的文字转语音生成器

LALAL.AI

AI人声乐器分离和提取

Adobe正在开发一种新的音频工具

Adobe正在开发一种新的音频工具Adobe正在开发一种名为ProjectSoundLift的音频工具，该工具可以分解单个录音中的不同声音层。使用人工智能将掌声等元素与某人的声音分开，生成包含背景噪音和您想要优先处理的曲目的单独文件。您可以在AdobePremierePro中单独导入和编辑每个轨道

分类标签 AdobeProjectSoundLift音频工具

12-11 02:03

AI写作猫：让你轻松撰写各种文案，快速制作原创视频

AI写作猫：让你轻松撰写各种文案，快速制作原创视频出色的文案总是能够吸引人们的目光，增加视频的播放量，从而推动作品上热门。你是否认为那些大V的优秀文案都是他们自己创作的呢？其实不然，他们都有一款专门的写作工具。今天，我要向大家分享一款神器，它可以让你轻松地撰写各种文案，快速制作出原创视频。首先，我们

分类标签 AI写作猫原创视频文案

12-10 02:08

中国式浪漫

中国式浪漫中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊，相互倾诉着深情而含蓄的爱意。这种浪漫，不单单是一种场景的表达，更多的是一种文化的传承。第一章：东方之美，婉约而华贵的爱中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。

分类标签中国式浪漫东方之美传统与现代

12-07 22:23

AI数字资产市场的发展

一、AI数字资产市场的发展AI数字资产市场的发展得益于区块链技术和智能合约的成熟。区块链技术为数字资产的交易提供了安全、透明和去中心化的平台，而智能合约则使得数字资产的交易更加便捷和高效。同时，随着人们对数字资产的认知和接受程度的提高，越来越多的投资者开始关注和参与这个市场。二、AI生成内容的数字资

分类标签人工智能数字资产市场

12-02 22:12

汤姆猫AI产品研发进展顺利，海外市场推出多款智能机器人和游戏产品

汤姆猫AI产品研发进展顺利汤姆猫公司海内外研发团队正在推进三款AI应用产品的研发与测试工作。海外团队研发的首款AI手游《TalkingBenAI》已在斯洛文尼亚、塞浦路斯、南非等地区开启首轮海外测试。在智能机器人硬件领域，公司于2021年下半年在海外市场推出了一款智能语音机器人GameBudTalk

分类标签汤姆猫AI智能机器人

12-02 22:11

分享八款AI智能软件，提高工作效率，优化文章质量

分享八款AI智能软件，提高工作效率，优化文章质量大家好！我叫阿志，做自媒体已有三年之久也做出了理想的成绩。今天我就分享我在用的八款AI智能软件，大部分是免费的哦。ChatGPT是一款聊天机器人。它不仅可以像人类一样聊天交流，还可以写邮件、写论文、写视频脚本，翻译、敲代码等，能够帮助我们提高工作效率，

分类标签 AI智能软件聊天机器人Al写作助手文本生成图像文章优化修图软件AI人声生成工具PPT内容生成工具

11-28 08:36

八款AI智能软件分享

八款AI智能软件分享大家好！我叫阿志，做自媒体已有三年之久也做出了理想的成绩。今天我就分享我在用的八款AI智能软件，大部分是免费的哦。1. ChatGPTChatGPT是一款聊天机器人。它不仅可以像人类一样聊天交流，还可以写邮件、写论文、写视频脚本，翻译、敲代码等，能够帮助我们提高工作效率，解决各种

分类标签 AI智能软件自媒体SEO

11-26 16:14

联想YogaBook9i：探索未来笔记本与AI编曲的可能性

近年来，笔记本电脑在形态上变化不大，市场上的新品虽然堆料更豪华、办公会议体验更智能，但整体体验却并没有突破用户的想象。而刚刚入选《时代》杂志「2023年最佳发明榜单」的联想YogaBook9i，应该算得上是今年最让数码党们兴奋的新机了。联想YogaBook9i是一款全尺寸双屏的笔记本电脑，两块13

分类标签联想YogaBook9i未来笔记本AI编曲

11-17 02:20

QQ音乐上线AI绘画功能，阿里云推出Web3安全工具，百度文心一言云服务将上线，北京城市副中心新增63家元宇宙企业，集视医疗完成天使轮融资，各大公司加速元宇宙布局

QQ音乐上线AI绘画功能，阿里云推出Web3安全工具，百度文心一言云服务将上线，北京城市副中心新增63家元宇宙企业，集视医疗完成天使轮融资，各大公司加速元宇宙布局据快科技报道，3月20日，QQ音乐正式上线AI绘画功能，用户可以在QQ音乐搜索“AI绘画”，或“次元专属BGM”进行体验。据了解，QQ音乐

分类标签 QQ音乐AI绘画阿里云Web3安全工具百度文心一言云服务北京城市副中心元宇宙企业集视医疗天使轮融资元宇宙StarLifeOLEDoS显示器AIGC昆仑芯片萝卜快跑维享时空AR眼镜iBox链盒数字藏品

11-17 02:19

喵星人的音乐世界

喵星人的音乐世界都2021年了，各位还在“一起学喵叫，一起喵喵喵”？本虾都听烦了。要知道我们喵星人早就入侵了你们人类的音乐，有很多资深撸猫的作曲家，都在通过音乐来歌颂我们。今天，本虾就给大家推荐几首喵曲，一起学着哼起来吧。猫之二重唱这首从头喵到尾的曲子，是意大利作曲家罗西尼的作品。他创作的灵感来自于

分类标签喵曲猫之二重唱SmellyCat猫赋格踩到猫了

11-17 02:11