Meta发布开源音乐生成器MusicGen,可以将文本描述转换为音频

新知榜官方账号

2023-09-01 02:34:46

Meta发布开源音乐生成器MusicGen,可以将文本描述转换为音频

Meta发布了自己的人工智能音乐生成器MusicGen,可以将文本描述(例如“一首80年代流行歌曲,背景中有沉重的鼓和合成器垫”)转换为大约12秒的音频,给或拿。

MusicGen可以选择用参考音频“引导”,就像现有歌曲一样,在这种情况下,它会尝试跟随描述和旋律。该工具经过20,000小时的音乐训练,包括10,000首高质量许可音乐和390,000首纯乐器曲目。该公司尚未提供用于训练模型的代码,但它提供了预训练模型,任何拥有合适硬件(主要是具有大约16GB内存的GPU)的人都可以运行。

MusicGen的表现相当优美,但还需改进。它的歌曲旋律相当优美,至少对于像“环境芯片音乐”这样的基本提示来说是这样,而且——在我看来——与谷歌的人工智能音乐生成器MusicLM的结果相当(如果不是稍微好一点的话)。但他们不会赢得任何奖项。接下来,我给出了一个更复杂的提示,试图让MusicGen循环播放:“Lo-fi慢BPM电冷却有机样本。”MusicGen在音乐连贯性方面出人意料地胜过MusicLM,制作的东西很容易在LofiGirl上找到家。

为了稍微改变一下,我尝试使用这两种工具来生成乔治·格什温(GeorgeGershwin)风格的钢琴小曲。我说“尝试过”是因为,为了防止围绕生成音乐工具的版权问题,谷歌在MusicLM的公共版本中实施了一个过滤器,阻止提示提及特定艺术家。MusicGen没有这样的过滤器。但是“格什温风格的背景钢琴音乐”的结果还有一些不足之处,我必须说:显然,生成音乐正在改进(参见Riffusion、DanceDiffusion和OpenAI的Jukebox)。但主要的道德和法律问题尚未得到解决。像MusicGen这样的AI从现有音乐中“学习”以产生类似的效果,这一事实并非所有艺术家——或生成AI用户——都感到满意。越来越多的自制曲目使用生成式AI来召唤熟悉的声音,这些声音可以被认为是真实的,或者至少足够接近,已经流行起来。音乐唱片公司以知识产权问题为由,迅速将它们标记给流媒体合作伙伴——而且它们通常都取得了胜利。但对于“deepfake”音乐是否侵犯了艺术家、唱片公司和其他权利人的版权,仍不清楚。可能不久就会有关于此事的指导。法院审理的几起诉讼可能会对生成音乐的AI产生影响,其中一项涉及艺术家的权利,这些艺术家的作品在他们不知情或未同意的情况下被用于训练AI系统。对于Meta而言,它没有对MusicGen的使用方式施加限制,它表示MusicGen所训练的所有音乐都“受与权利持有人的法律协议的保护”,包括与Shutterstock的协议。

本页网址:https://www.xinzhibang.net/article_detail-10710.html

寻求报道,请 点击这里 微信扫码咨询

关键词

Meta 音乐生成器 开源

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯