Meta发布开源AI工具AudioCraft，可根据文本提示创作音频和音乐

新知榜官方账号

2023-08-04 08:38:32

背景介绍

Meta发布了一款开源人工智能（AI）工具AudioCraft，可以根据用户给出的文本提示创作音频和音乐。相较于AI在生成图像、视频、文本的应用，AI生成音乐领域的发展相对落后。这是由于生成高质量的音频需要对不同类型的信号、模块进行不同层级的建模，加上该领域开源的代码较少，可以说是AI生成内容中最具挑战性的领域。

AudioCraft的核心部件

本次AudioCraft以开源的形式进行发布，包括AudioGen、EnCodec（改进版）和MusicGen三个核心部件。通过MusicGen和AudioGen，AudioCraft可以将用户给出的文本指令转变为任何类型的音频或者音乐，再由EoCodec（改进版）进行优化。AudioGen是一个AI生成音频模型。它能够扩展现有音频，或者通过文本提示生成音频，例如生成狗叫声、汽车喇叭声或者木地板上的脚步声。此外，AudioGen还能从声学角度区分不同对象的声音，对其进行分类。EnCodec（改进版）是一个基于神经网络的音频压缩解码器，能够帮助用户生成人工痕迹更少、更高质量的音乐，还能对音频文件进行无损压缩。MusicGen是Meta在今年6月初推出的开源AI模型，能够根据文本提示生成音乐。Meta使用自有或经过授权的音乐对其进行训练，累计使用约40万个音频及文本素材，训练总时长超过20000小时。

AudioCraft的应用前景

尽管Meta使用了多个音频素材对模型进行训练，但Meta也承认，用于训练AudioCraft的数据集缺乏多样性，素材大多为西式音乐，且使用的文本提示语言仅限于英语。通过AudioCraft生成的音乐质量尚不足以取代专业人士制作的商用音乐。Meta本次采取的策略类似于此前发布Llama2大语言模型——无需商业授权即可使用。因此，AudioCraft的开源发布可能可以吸引大量用户，而不仅只是那些对文本生成音频感兴趣的用户，扩大Meta的知名度。根据Meta的FAIR团队介绍，与早期文本生成音频的AI模型相比，AudioCraft大大简化了生成流程。用户能够使用AudioGen和MusicGen进行音频生成，甚至可以从头开始开发自己的文本生成音频模型。Meta并不是第一家AI生成音乐的公司。此前，OpenAI曾在2020年推出AI音乐生成器Jukebox，谷歌在今年发布的音乐生成模型MusicLM，其他常见的类似模型还有Riffusion、Mousai和Noise2Music等。

本页网址：https://www.xinzhibang.net/article_detail-9231.html

寻求报道，请

关键词

Meta 开源 AI 音频音乐 AudioCraft

分享至微信：

相关工具

Mubert

AI BGM背景音乐生成工具

Resemble.ai

AI人声生成工具

IBM Watson文字转语音

IBM Watson文字转语音

Typecast

在线AI文字转语音生成工具

悦音配音

AI智能在线配音语音合成工具

FakeYou

Deep Fake文本转语音

英语听力练习：The Office - Cut It Out

欢迎关注我，每日分享优质英语听力！本文提供了一段The Office的对话，通过三个步骤进行听力练习，并提供了听力技巧。 Step 1: 盲听。先把整个音频全听完，这个过程先不要看文本，为更好地练习听力。本音频制作成3遍：第1遍：慢速播放对话，这一遍旨在听懂文章大意，不需要听懂每个单词，记录下自己没

分类标签英语听力练习TheOfficeCutItOut对话学习

12-01 16:21

MÜNN 2021秋冬系列：以“CUTOUT/抉”为主题的韩国民族服装文化与街头潮流的完美融合

MÜNN 2021秋冬系列：以“CUTOUT/抉”为主题的韩国民族服装文化与街头潮流的完美融合MÜNN是近年于欧洲备受注目的韩国品牌之一，品牌设计师Hyun-minHan在2021秋冬系列以“CUTOUT/抉”为主题，优雅地破坏衣服本来的形态，以一贯擅长的解构技巧，将传统的韩国民族服装文化融入街头潮

分类标签 MÜNN韩国品牌2021秋冬系列

12-01 16:20

2023年11月第4波干货合集推荐设计和艺术相关网站和AI工具

2023年11月第4波干货合集推荐设计和艺术相关网站和AI工具大家好，这是2023年11月的第4波干货合集！本文推荐了3个值得收藏的设计和艺术相关的网站，以及3个AI相关的工具。1、内容超全的当代线上艺术档案馆https://www.ubu.com/UbuWeb是一个内容极为丰富的、内里界限模糊的前

分类标签干货合集设计艺术网站AI工具

11-30 22:10

音乐人的“噩梦”？StabilityAI推出音乐生成工具StableAudio

背景StabilityAI推出了一款音乐生成工具StableAudio，它采用了“潜在扩散模型”，用户只需要输入关键词，就可以一键生成音频。StableAudio可以生成长达90秒的音乐，而其他模型通常只能生成几秒钟的音频片段。这一创新是通过潜在扩散技术实现的，StableAudio的模型可以逐渐减

分类标签 StabilityAIStableAudio音乐生成工具

11-17 22:19

中国式浪漫

中国式浪漫中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊，相互倾诉着深情而含蓄的爱意。这种浪漫，不单单是一种场景的表达，更多的是一种文化的传承。在现代社会中，这种东方之美依然在中国式的爱情中得以体现。例如，现代新人在婚礼上常常选

分类标签中国式浪漫东方之美传统与现代的碰撞

10-27 02:18

触站AI：让你轻松绘画的AI软件

一、什么是触站AI？触站AI是触站原创画师作品分享平台旗下的AI绘画系统。它使用了最新的AI技术，可以通过添加描述脑海中的画面，选择原画、漫画、游戏CG、科技幻想等风格，添加辅助词语：动作、服饰、表情及其他图片参考，生成出不同形状的图片，同时还能够生成与你描述内容相对应的笔刷。这使得触站AI成为了一

分类标签触站AIAI绘画人工智能软件

10-23 03:20

文心·一格：百度推出的AI作画平台

文心·一格：百度推出的AI作画平台文心一格是百度基于飞桨和文心大模型技术创新推出的AI作画平台，可实现AI辅助创作。该平台在2022年8月19日的中国图象图形大会CCIG2022正式发布，是首款产品。MuseArtMuseTransfer的延伸区MuseArtMuseTransfer是为创作者而建的

分类标签文心一格AI作画百度

10-23 03:18

音乐创业公司Riffusion完成400万美元新一轮融资

近日，音乐创业公司Riffusion完成了价值400万美元的新一轮融资，本轮融资由GreycroftPartners领投，SouthParkCommons和Sky9参投。该轮资金将用于进一步开发人工智能技术，生成原创音乐。Riffusion最初是作为一个免费开源工具创建，它通过使用AI，将简单的文本

分类标签 Riffusion人工智能技术原创音乐

10-22 23:22

昆仑万维旗下StarXMusicXLab发布五首由AI生成的歌曲

昆仑万维旗下StarXMusicXLab发布五首由AI生成的歌曲音乐实验室是昆仑万维以人工智能应用场景落地为方向，以AI音乐生成为主要研究方向成立的机构，依托成熟专业的全链路音乐制作和海外发行能力，向全球输出高质量单曲、配乐、氛围音乐。据介绍，StarXMusicXLab音乐实验室的AI作曲技术拥有

分类标签昆仑万维StarXMusicXLabAI生成歌曲

10-18 09:08

中央音乐学院举办“面向未来——电子音乐与AI的交响”音乐会

中央音乐学院举办“面向未来——电子音乐与AI的交响”音乐会中央音乐学院举办了“面向未来——电子音乐与AI的交响”音乐会，是国内首场深度融合AIGC、3D音频、脑科学等前沿科技的音乐会。音乐会由中央音乐学院院长俞峰担任艺术总监，中国科学院院士管晓宏担任AI技术总监，中央音乐学院音乐人工智能与音乐信息科

分类标签中央音乐学院电子音乐人工智能

10-18 09:06

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway