微软推出NaturalSpeech2语音模型，实现零样本语音合成

新知榜官方账号

2023-07-28 22:10:25

微软推出NaturalSpeech2语音模型，实现零样本语音合成

全网账号同名AI合成语音如今已经屡见不鲜，然而在用户听来却不能让人产生与真人对话和阅读般的沉浸感。不过日前微软推出了一款名为NaturalSpeech2的语音模型，该模型采用“潜在扩散”式设计，在零样本语音合成层面效果出众，微软宣称该模型提供了“商业级”的语音/歌唱解决方案，能够给予用户高质量、多样化的语音合成体验，其在零样本情况下生成具有不同说话人身份、韵律和风格（如唱歌）的语音的能力。

据悉，与传统的语音转文字（TTS）系统不同，微软的NaturalSpeech2使用“连续向量”取代“离散标记”来表示语音，从而生成更完整的语音片段，不会产生“缺乏感情”的“棒读（一字一顿地讲话）”现象。在发布论文的实验结果可以了解到，NaturalSpeech2在零样本条件下生成的语音与语音提示和真实语音的韵律近乎一致，并且在LibriTTS和VCTK测试集上的自然度（以CMOS为度量）与真人语音难以区分。

在微软Azure认知服务语音首席研发总监赵晟看来，NaturalSpeech系统首次达到了与真人录音没有显著差异的效果，是TTS研究上的一个新的里程碑。从长远角度来讲，虽然借助新模型能够实现更高质量的合成语音，但这并不意味着彻底解决了TTS所面临的问题。目前，TTS仍然存在很多具有挑战性的场景，需要未来更先进的建模技术来模拟真人语音的表现力和多变性。

本页网址：https://www.xinzhibang.net/article_detail-8839.html

寻求报道，请

关键词

微软 NaturalSpeech2 语音模型零样本语音合成

分享至微信：

相关工具

Boomy

AI音乐生成工具

Voicemaker

AI文本到语音生成工具

Voice.ai

实时AI变声工具

魔音工坊

短视频/有声书AI配音平台，由出门问问推出

AssemblyAI

转录和理解语音的AI模型

Riffusion

AI生成不同风格的音乐

中国式浪漫

中国式浪漫中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊，相互倾诉着深情而含蓄的爱意。这种浪漫，不单单是一种场景的表达，更多的是一种文化的传承。第一章：东方之美，婉约而华贵的爱在现代社会中，中国式的浪漫依然得以体现。例如，现代新

分类标签中国式浪漫东方之美传统与现代的碰撞

12-07 22:30

变声器电脑版哪个好用？主播同款变声器~

变声专家介绍随着吃鸡游戏大火，各路主播纷纷借助吃鸡游戏蹭热度，其中最火热的就是主播们使用变声器将男声变成女声来整蛊队友，这也让不少人在网上寻找好用且可以在吃鸡游戏里使用的变声器，那到底哪个变声器电脑版好用呢？感兴趣的小伙伴可以动动小手指接着往下滑动看看啦~~变声专家基本情况变声专家是海外软件AVVo

分类标签变声器电脑版主播变声器吃鸡游戏

11-29 16:59

人工智能“闻声识相”：如何通过声音识别人脸？

人工智能“闻声识相”：如何通过声音识别人脸？人工智能近年来发展迅速，其中“闻声识相”技术备受关注。该技术通过深度学习和跨模态检索技术，将人脸图像和语音音频片段分别输入人脸编码器网络和语音编码器网络，根据身份的平均损失为提取的特征值分配不同的权重，并过滤掉个性化样本，然后使用两级模态匹配更新神经网络参

分类标签人工智能算力算法数据闻声识相声音识别

11-29 16:58

八款AI智能软件，让你的工作效率倍增！

八款AI智能软件，让你的工作效率倍增！大家好！我叫阿志，做自媒体已有三年之久也做出了理想的成绩。今天我就分享我在用的八款AI智能软件，大部分是免费的哦。1. ChatGPTChatGPT是一款聊天机器人，不仅可以像人类一样聊天交流，还可以写邮件、写论文、写视频脚本，翻译、敲代码等，能够帮助我们提高工

分类标签 AI智能软件工作效率自媒体

11-28 08:43

StabilityAI推出StableAudio，用于AI制作音频生成工具

StabilityAI推出StableAudio，用于AI制作音频生成工具StabilityAI是一家专注于开源AI模型的创业公司，其旗下的StableDiffusion是如今最好的图片生成AI之一（另一个是midjourney）。最近，StabilityAI又推出了StableAudio，这是一款

分类标签 StabilityAIStableAudioAI制作音频潜在扩散模型

11-20 22:15

VoiceChanger「变声器」——让你的声音变得与众不同

VoiceChanger「变声器」是一款充满趣味性的手机应用程序，它提供了丰富多样的变声效果选择，只需轻点一下，你就可以轻松变换声音。从小萝莉到御姐音，再到神秘的幽灵和酷炫的机器人，只要你敢尝试，你的声音就可以变得与众不同。而且，它的界面设计独具匠心，简单又有趣，让变声过程变得更加乐趣无穷。除了给声

分类标签 VoiceChanger变声器语音编辑器

11-19 16:23

市面上那么多AI变声器到底该选哪个？某宝抖音里499、599、699调试变声到底值不值得？

市面上那么多AI变声器市面上的AI变声器其实都是同一个人制作的，只是换了不同的外观和声音模型。这个人制作的变声器是开源的，所以市面上出现了很多不同的变声器软件，它们的声音模型有免费的也有收费的。至于那些贵的离谱的收费模型，如果你有钱，可以购买，但如果你想免费使用，也有温柔御姐、俏皮萝莉等各种声音模型

分类标签 AI变声器某宝抖音调试变声

11-19 16:22

实时变音神器：入梦Ai变声器使用体验指南

实时变音神器：入梦Ai变声器使用体验指南入梦Ai变声器是一款实用的实时变音软件，能帮助用户轻松实现各种声音效果。该软件能够在录音、直播、游戏语音中实时变换声音，为用户提供更多声音选择。本文旨在让读者了解此类工具的存在，以防上当受骗，并非教导如何利用变声器欺骗他人。体验与使用运行入梦Ai变声器.exe

分类标签实时变音软件入梦AI变声器声音选择

11-19 16:21

大饼AI变声：声音创造的无限乐园

大饼AI变声：声音创造的无限乐园声音不再局限于自然的音色，而是成为一种可以塑造、创造的艺术。大饼AI变声作为一款免费的AI实时变声工具，为用户带来了前所未有的声音体验。大饼AI变声以其千种音色和自然的人声效果而备受瞩目。用户可以选择多样化的音色，实现从幽默搞笑到庄重神秘的无限可能性。这款工具支持全场

分类标签大饼AI变声声音体验音色转换

11-19 16:19

AI+公开课已经有团队开始用AI训练人了！

AI+公开课已经有团队开始用AI训练人了！近年来，随着人工智能技术的不断发展，越来越多的公司开始尝试用AI训练人。据悉，AI+公开课团队已经开始了这项尝试，并取得了一定的成果。AI训练人的意义在于，通过让机器学习人类的行为模式和思维方式，从而让机器更好地服务于人类。这项技术的应用前景非常广阔，尤其是

分类标签 AI训练人张佳

11-16 08:01