Meta发布开源AI工具AudioCraft,根据文本提示创作音乐和音频

新知榜官方账号

2023-10-18 08:36:13

Meta发布开源AI工具AudioCraft,根据文本提示创作音乐和音频

Meta发布了一款开源AI工具AudioCraft,该工具可以帮助用户根据文本提示创作音乐和音频。这篇文章介绍了AudioCraft的三种模型以及其特点,同时指出生成复杂的音乐仍存在困难。

一、经2万小时授权音乐训练,压缩文件大小比MP3格式小10倍

从目前Meta的介绍来看,Audiocraft背后使用三种模型中,MusicGen接受过Meta拥有的和特别授权的音乐库进行训练,可以从文本提示生成音乐。此外,另一款模型AudioGen接受过公共音效训练,可从文本提示生成音频,比如模拟狗叫或脚步声。最后要说的就是EnCodec编解码器,可以在音频质量没有损失的前提下,将音频压缩到比MP3格式还要小10倍的程度。

二、推动模型开源,Meta称AudioCraft生成复杂音乐仍存在困难

Meta在公告中还演示了MusicGen和AudioGen工作的流程图,并表示将让这些模型开源,让研究人员和从业人员可以用自己的数据集训练适合自己的模型,并帮助推进人工智能生成音频和音乐领域的发展。Meta认为,MusicGen可以变成一种新型的乐器,就像最初出现的合成器一样。但使用AudioCraft创作复杂而又优秀的音乐还是比较困难的,因此它选择将AudioCraft开源,以使用于训练它的数据多样化。

今年早些时候,谷歌也发布了名为MusicLM的音乐生成模型,并于5月向用户开放。今天,GoogleLabs还在官网中介绍了知名音乐家DanDeacon正在使用该模型创作音乐。除此之外,目前比较常见的音乐模型还有Riffusion、Mousai和Noise2Music等。

从目前的公告信息来看,AudioCraft不仅可以根据用户的文本提示生成音乐,还可以对音频进行无损压缩。同时开源的形式也有助于更多人参与相关音乐模型的构建,从推动更高质量的音乐创作的生成。随着,Meta和谷歌两大巨头“押注”音乐大模型,音乐的创作或受到生成式AI影响。但正如Meta所指出的,生成式AI生成复杂的音乐还有很长的路要走。

本页网址:https://www.xinzhibang.net/article_detail-17122.html

寻求报道,请 点击这里 微信扫码咨询

关键词

Meta 开源 AI工具 AudioCraft 音乐创作 音频

分享至微信: 微信扫码阅读

相关工具

相关文章