首页 > 行业观察 > 微软新一代语音合成模型NaturalSpeech2:零样本语音合成的跨越式发展

微软新一代语音合成模型NaturalSpeech2:零样本语音合成的跨越式发展

新知榜官方账号

2023-12-06 04:22:13

背景介绍

近期微软推出了语音合成模型NaturalSpeech2,只需几秒提示语音即可定制语音和歌声,实现了零样本语音合成的跨越式发展。在TTS领域,微软亚洲研究院机器学习组和微软Azure语音团队早已深耕多年,并在近期推出了语音合成模型NaturalSpeech2,只需几秒提示语音即可定制语音和歌声,省去了传统TTS前期训练过程,实现了零样本语音合成的跨越式发展。

创新设计

NaturalSpeech2提出了一系列创新设计,如图1所示,完美地有效规避了先前的局限,实现了零样本语音合成的重要突破。同时,非自回归的方式和音高时长预测机制也赋予了NaturalSpeech2扩展到语音之外的风格(例如歌声)的能力。

优势

相比先前的语音合成系统,NaturalSpeech2有以下几大优势:1.使用连续向量替代离散token,缩短序列长度,同时增加细粒度重建语音所需要的细节信息;2.采用扩散模型替代自回归语言模型,避免自回归模型中的错误累积所导致的韵律不稳定、重复、漏词等问题;3.引入语音提示机制,激发上下文学习能力,提升了零样本的预测能力。

未来展望

未来,该研究团队将持续推动符合负责任的人工智能原则的语音合成大模型的研发,在更加多样化的场景中生成质量更高且更自然的语音,让语音合成技术可以赋能更多个人和组织。

本页网址:https://www.xinzhibang.net/article_detail-22106.html

寻求报道,请 点击这里 微信扫码咨询

关键词

微软 语音合成 NaturalSpeech2

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯

ChatGPT,Midjourney,文心一言,文心一格,bing新必应,Stable diffusion,文心一格,稿定设计,墨刀AI,mastergo,Adobe Firefly

短视频知识人物影响力榜

查看更多

新知榜独家 {{faTime.effecttime}}发布

总榜

人物 领域 粉丝数 影响力指数

{{item.manIndex}}

{{item.nickname}} {{item.field}}

{{item.fs}}

{{item.effect}}