火山语音团队多篇论文入选ACL2023

火山语音团队多篇论文入选ACL2023

近日，ACL2023的论文录用结果公布，火山语音团队多篇论文成功入选，内容涵盖音频合成、歌声合成以及语音翻译等多个前沿技术领域的创新突破。

ACL（Annual Meeting of the Association for Computational Linguistics）每年由国际计算语言学协会举办，是自然语言处理与计算语言学领域最高级别的学术会议，也是中国计算机学会（CCF）A类推荐会议，在世界范围内享有极高声誉，并受到全球各地语言领域人士的广泛关注。

结合视觉信息的端到端语音翻译（AV-TranSpeech:Audio-VisualRobustSpeech-to-SpeechTranslation）

研究背景：众所周知，语音到语音翻译（S2ST）对于打破语言壁垒与沟通障碍非常有益。近年来业内利用自监督模型获得的离散单元，构建无文本且端到端的S2ST系统逐渐成为主流，但当前的S2ST模型在带噪的环境中仍然存在明显退化，并且无法翻译视觉语音（即唇动）。

方法介绍：为了缓解AV-S2ST数据稀缺，团队率先探索使用无标记音视频数据进行自监督预训练，以学习上下文表示；此外使用在纯音频语料库上训练的S2ST模型引入跨模态蒸馏，进一步降低对视觉数据的要求。

呈现效果：在两种语言对的实验结果表明，无论噪声类型如何，AV-TranSpeech在所有设置下都优于纯音频模型，尤其是在低资源数据（10小时、30小时）下，跨模态蒸馏可提高7.6个BLEU点。

利用文本-语音对比学习提出针对语音合成的韵律文本表征（CLAPSpeech:LearningProsodyfromTextContextwithContrastiveLanguage-AudioPre-Training）

研究背景：提高文本表征是实现富有韵律的语音合成系统的重要途径，然而现有的工作通常采用基于语言模型(BERT)的文本表征来提升合成语音的韵律的方法，这就带来了使用预测掩码标记（maskedtokenprediction）任务进行预训练，更关注的却是文本的语义信息而非语音的韵律，从而导致训练效率低以及韵律建模困难等问题。

方法介绍：基于上述观察，火山语音团队联合浙江大学提出了CLAPSpeech，这是一个跨文本-语音模态的对比预训练方法。与现有工作不同，它从相同文本标记在不同语境下的韵律变化中学习，因而能够显式高效地从文本中提取韵律相关的信息。

呈现效果：在两个1000小时级别的中英文语音合成数据集完成的实验均表明，采用CLAPSpeech提供的文本表征可以显著提升现有TTS方法的韵律建模；实验同时还证明了CLAPSpeech的泛化能力，可以适应多语言和多说话人的复杂语音合成任务。

基于跨模态对齐的从语音到歌声转换（AlignSTS:Speech-to-SingingConversionviaCross-ModalAlignment）

研究背景：从语音到歌声转换（Speech-to-Singing，STS）任务的目标是将语音样本转换为内容（歌词）一致的歌声样本，同时保证说话人的音色不变。

方法介绍：团队提出了一个更简洁高效的时间模态表示，即节奏特征。该特征被用于缩小语音内容和目标音高之间的模态差异，可被视为一种软化的时长标注。根据经验观察，人类总能在给定歌词序列和音高序列的前提下创作出听感合理的歌词节奏，说明连接这两者的节奏特征的概率分布可被良好定义。

呈现效果：在多轮实验中，本方法在总质量MOS评分和韵律MOS评分中获得了平均0.39和0.36的提升；同时在零样本测试中，只在纯歌声数据集上训练的模型能够在未见语音数据上获得0.11的提升，展现了良好的泛化性能。

针对口吃语音提出的自动化语音编辑系统（FluentSpeech:AStutter-OrientedAutomaticSpeechEditingSystem）

研究背景：口吃消除作为语音编辑的一个关键子任务，有着十分广泛的应用场景，如短视频、电影、播客、YouTube视频，讲座等，能够为媒体制作人提供极大的便利。

方法介绍：该论文首创性地针对口吃语音提出了一个自动化语音编辑系统，也就是FluentSpeech。这是首个针对口吃消除任务进行优化的语音编辑系统，可以自动检测口吃区域将其去除，并同时生成具有丰富细节的流畅语音。

呈现效果：该系统在VCTK数据集上与最新的基线系统进行了对比实验，在常规语音编辑任务中，音质主观评测MOS分数提升了0.18，说话人相似度主观评测MOS分数提升了0.15。在该论文新收集的口吃语音数据集的实验中，系统对口吃语音具有很高的鲁棒性，其口吃区域预测的帧级别准确度为80.5%，能够显著提高口吃语音的流畅性。