Meta推出开源人工智能工具AudioCraft,可根据文本提示生成音乐和音频

新知榜官方账号

2023-09-18 09:06:21

近日,Meta公司推出了一款名为AudioCraft的开源人工智能工具,该工具能够根据文本提示生成音乐和音频。

该工具捆绑了三个模型,分别是AudioGen、EnCodec和MusicGen,能够适用于音乐、声音、压缩和生成。其中,MusicGen能够通过文本输入生成音乐,该模型是在Meta拥有或专门用于此目的授权的2万个小时的音乐上进行训练的。而AudioGen则能够根据文本提示创建声音效果,如狗叫声或脚步声,它是在公共音效上进行训练的。Meta还改进了EnCodec解码器的版本,可以使用户使用较少的伪影来创建声音。

然而,随着机器学习软件的不断发展,艺术家和行业专家对侵犯版权提出了担忧,因为这些软件可以通过识别和复制从网络上抓取的数据中的模式来工作。Meta公司让媒体们听了一些使用AudioCraft制作的示例音频。口哨声、警笛声和嗡嗡声听起来非常自然。尽管歌曲中的吉他琴弦感觉很真实,但它们仍然感觉有点不自然。

今年早些时候,谷歌推出了MusicLM,这是一个大型语言模型,可以根据文本提示生成几分钟的音乐,只对研究人员开放。然后,一首名为「AI生成」的歌曲在得到病毒传播后被下架,这首歌曲中有Drake和TheWeeknd的声音。最近,一些音乐家,比如Grimes,鼓励人们在AI创作的歌曲中使用自己的声音。

目前,AudioCraft听起来更像是可以用作电梯音乐或背景歌曲,可以为环境增添氛围,而不是下一个流行热曲。然而,Meta相信他们的新模型可以像合成器一样开创一波新的流行歌曲潮流,以及合成器在成为流行后如何改变了音乐。

Meta表示,创建能够创作音乐的AI模型的困难,因为音频通常包含数百万个离散点,而不仅仅是像Llama2这样的文本模型,只包含数千个点。该公司表示,为了使其训练数据的多样性更加丰富,AudioCraft需要进行开源。

AudioCraft开源模型Gthub页面:https://github.com/facebookresearch/audiocraft

本页网址:https://www.xinzhibang.net/article_detail-12094.html

寻求报道,请 点击这里 微信扫码咨询

关键词

Meta 开源 人工智能工具

分享至微信: 微信扫码阅读

相关文章