开源中国Meta宣布语音生成AI模型Voicebox的突破性成果

新知榜官方账号

2023-07-05 20:20:27

近日，开源中国Meta宣布了一项在语音生成领域的突破性成果：Voicebox。这是一个在各方面都表现非常先进的语音生成AI模型，它能够通过上下文学习执行语音生成任务，如编辑、采样和风格转换等，而无需专门训练。与其他生成语音的AI需要使用精心准备的训练数据对每项任务进行特定训练不同。Voicebox使用一种新方法来仅从原始音频和随附的转录中学习。这种方法提高了模型的灵活性，能够更好地适应各种任务。Voicebox采用非自回归的流匹配模型，它被训练用于填充语音，给定音频上下文和文本，并在超过50000小时的未经过滤或增强的语音上进行训练。

类似于GPT，Voicebox可以通过上下文学习执行许多不同的任务，但它更灵活，因为它还可以根据未来的上下文进行条件化。Voicebox模型具有多种用途。它可以用于单语言或跨语言的零样本文本到语音合成、噪声去除、内容编辑、风格转换和多样性样本生成。特别地，Voicebox在可理解性（5.9%对1.9%的单词错误率）和音频相似度（0.580对0.681）方面优于当前最先进的英语模型VALL-E，同时速度比它快20倍。对于跨语言风格迁移，Voicebox优于YourTTS，将平均单词错误率从10.9%降低到5.2%，并将音频相似度从0.335提高到0.481。目前可以在voicebox.metademolab.com查看模型演示。由于潜在的滥用风险，目前并未公开提供Voicebox模型或代码。尽管如此，他们仍然分享了音频样本和一篇研究论文，详细介绍了他们的方法和所取得的结果。

本页网址：https://www.xinzhibang.net/article_detail-5986.html

寻求报道，请

关键词

分享至微信：

相关工具

Play.ht

超真实在线AI语音生成

Notta

AI在线将语音转换成文字

讯飞智作

科大讯飞推出的AI转语音和配音工具

Mubert

AI BGM背景音乐生成工具

Clipchamp AI旁白生成器

Clipchamp的文字转语音生成器

Resemble.ai

AI人声生成工具

8款AI智能软件，提高工作效率，解决日常问题

8款AI智能软件，提高工作效率，解决日常问题自媒体一直以来都需要高效的工具来帮助我们提升工作效率和解决日常问题。下面就给大家分享八款AI智能软件，让你的工作更加轻松愉快。1. ChatGPTChatGPT是一款聊天机器人，可以像人类一样聊天交流，还可以写邮件、写论文、写视频脚本，翻译、敲代码等，能够

分类标签 AI智能软件聊天机器人Al写作助手文本生成图像文章优化修图软件AI人声生成工具PPT内容生成工具

11-28 08:46

短视频的AI配音方法分享

短视频的AI配音方法分享在制作动画时，使用AI配音可以让角色更加生动有趣，提高动画的观赏价值。现在AI配音可以大大提高短视频的质量和吸引力，让观众更加沉浸在视频内容中。短视频AI配音可以通过以下几种方式制作：使用文字转语音APP这是一款支持语音和文字互转的AI智能识别软件，可以使用它的文字转语音功能

分类标签短视频AI配音文字转语音配音鹅AdobeAudition

11-18 04:09

免费配音软件：AI文字转语音说唱

免费配音软件：AI文字转语音说唱随着人工智能技术的快速发展，AI文字转语音已经成为了现实。而在2023年，一种新型的免费配音软件引起了人们的关注，它能够将用户输入的歌词文字转化为说唱歌曲，并且具有高质量的配音和音乐效果。这个新的配音软件使用了最先进的AI技术。在它的后台中，深度学习算法和人工神经网络

分类标签 AI配音文字转语音免费配音软件

10-27 10:01

三款自动配音软件推荐

自动批量配音软件自动批量配音这个软件是可以免费使用的，分栏很清楚：一边输入文案、一边选择配音音色，里面有很多的音色可以选择。比如御姐音、萝莉音、正太音、自然腔调，我们都是可以自由选择的，选择一个适合自己视频作品的就可以了，而且也可以自行调节语速和音调，功能非常强大。迅捷文字转换软件迅捷文字转换这个软

分类标签自动配音软件音色

10-27 10:00

百度输入法AI技术应用广泛，在用户口碑方面表现出色

百度输入法AI技术应用广泛，在用户口碑方面表现出色近期，一份《2020-2021中国第三方手机输入法行业年度研究报告》推出，在这一部年度报告中，针对于目前多款手机输入法进行调研，在报告中指出手机输入法的未来发展方向会是更加智能化、个性化。在报告中指出，2020年中国手机网民达9.89亿人，而第三方手

分类标签百度输入法AI技术用户口碑

10-27 08:59

VoiceRemaker：最好的AI语音生成工具

介绍VoiceRemaker要给大家介绍的Chrome浏览器插件VoiceRemaker，就是这样一款号称最好的AI语音生成工具，您可以使用我们的在线AI语音生成器和最佳合成语音生成最接近人声的音频，立即将文本转换为听起来自然的语音并下载为MP3音频文件。如何使用VoiceRemaker？进入chr

分类标签 VoiceRemakerAI语音生成工具在线AI语音生成器

10-20 22:12

个性化智能语音问候系统

个性化智能语音问候系统该系统旨在利用人工智能技术，根据用户性别、年龄、场景和语音音色等因素，为用户提供个性化、差异化的上车语音问候，并能进行多场景语音交互，使用户的出行更加便捷、舒适。实现原理该系统采用深度学习算法和语音合成技术，根据用户的语音输入和场景信息，自动识别用户的性别、年龄和语音音色，并生

分类标签智能语音个性化问候多场景交互

10-13 02:16

AI视频工具：现状与前景

视频内容的爆炸式增长视频内容在过去十年中呈爆炸式增长，现在普通消费者每周观看约17小时的视频。视频内容的多样性与其数量一样巨大，从TikTok上的30多秒短视频到3小时以上的长电影。尽管视频内容无处不在，但它的创作仍然是一项资源和时间密集型工作，需要设备和软件投资、大量拍摄、复杂的编辑和完善的工程技

分类标签视频内容人工智能视频工具

10-09 09:12

Meta发布新音声生成AI模型VoiceBox

Meta发布新音声生成AI模型VoiceBoxMeta最近发布了名为VoiceBox的音声生成AI模型，可以让用户用任何语言说出任何想说的话，而且听起来就像是真人在说话一样。VoiceBox不仅可以将文本转换为音声，还可以进行音声合成、噪音消除、内容编辑、风格转换等多种任务。VoiceBox是基于m

分类标签 MetaVoiceBox音声生成AI模型

10-07 08:54

电信诈骗利用AI语音生成软件模仿亲人声音，导致1100万美元被骗

近年来，电信诈骗一直是人们非常关注的话题，而AI技术的发展也给诈骗分子提供了更多的可乘之机。据外媒报道，电信诈骗分子利用AI语音生成软件模仿亲人的声音，成功诈骗了大量的钱财。据报告显示，仅在2022年，这些假冒行为导致人们被骗走了1100万美元，而老年人成为了诈骗分子的主要目标。这是因为在涉及金融诈

分类标签电信诈骗AI语音生成软件亲人声音

10-07 08:50