AI生成音乐的难点与Google的MusicLM模型

新知榜官方账号

2023-07-05 16:56:42

AI生成音乐的难点

在这个生成式AI的时代里，不仅仅文本、图像、视频可以被生成，制作音乐也已经不再只是人类创作的专属领域。

然而，这些先前的尝试都存在技术上的问题，生成出来的音乐单调，不够复杂，重复性高，且音质较差。为什么AI生成音乐如此具有挑战性？

实际上，相比于其他领域，音乐的生成更加困难。虽然现有的MIDIs可以用于生成音乐，但是要生成高保真度的音乐就需要更加复杂的算法。音乐的结构也并不简单，需要考虑旋律和和声，同时还存在着一些随时间重复的模式。在这种情况下，用文本描述来生成音乐的想法应运而生。你只需要提供一个简短的文本描述，就能够生成出精妙绝伦的音乐，这听起来是不是很神奇？

Google的MusicLM模型

Google近期发布了一个名叫MusicLM的模型，就是能够将文本转换成高质量的音乐。MusicLM模型到底是如何破解生成音乐的难点的呢？

首先，模型利用了之前Google发布的AudioML模型。AudioML能够接收一个旋律然后继续生成一段新的旋律。然而，这个模型仍然存在着一些技术限制，比如数据匮乏和音乐描述不够精细。

为了解决这些问题，MusicLM采用了MuLan这个核心组件。MuLan构造<音乐，文本>对，构建音乐-文本的联合嵌入，通过双塔结构（一个用于文本输入，另一个用于音频输入）。这两个塔都使用预先训练好的BERT和ResNet-50模型，并且使用对比学习进行训练。在训练过程中，MuLan学习音乐片段和它们对应的文本注释之间的映射关系。同时，为了提高音频质量，MusicLM还使用了SoundStream作为声学记号的自监督学习，同时利用w2vBERT作为语义记号，以帮助生成长期连贯的音乐序列。

在实验中，MusicLM模型生成音乐的质量（AudioQuality）和文本忠实程度（TextFaithfulness）都比先前的模型要好很多。在听觉质量（ListeningQuality）方面，该项目召集了志愿者们，给他们展示一些音乐片段，并要求他们选择哪个片段最能代表文本描述。结果显示，MusicLM获得大多数比较中的胜利。

MusicLM的局限和未来发展

当然，这个模型并不完美。生成的某些音频质量可能会有所下降，而且有时候生成的歌词并不是英语，而是一种几乎没有意义的胡言乱语。与此同时，这个模型还存在版权问题，它生成的音乐有1%的概率可能复制已有歌曲的元素（甚至是受版权保护的元素）。

综上所述，尽管MusicLM模型非常先进，但还是存在着一些局限性和风险。然而，作为未来AI创作工具的一部分，MusicLM模型无疑将会为音乐家和作曲家带来更多的机遇和挑战。

本页网址：https://www.xinzhibang.net/article_detail-5913.html

寻求报道，请

关键词

分享至微信：

相关工具

BGM猫

灵动音科技推出的AI智能生成BGM音乐

Boomy

AI音乐生成工具

Veed AI Voice Generator

Veed推出的AI语音生成器

听悟

阿里推出的AI会议转录工具，万语千言，心领神悟

Riffusion

AI生成不同风格的音乐

ACE Studio

AI歌声合成工具，输入歌词与旋律即可生成宛如真人的歌声

英语听力练习：The Office - Cut It Out

欢迎关注我，每日分享优质英语听力！本文提供了一段The Office的对话，通过三个步骤进行听力练习，并提供了听力技巧。 Step 1: 盲听。先把整个音频全听完，这个过程先不要看文本，为更好地练习听力。本音频制作成3遍：第1遍：慢速播放对话，这一遍旨在听懂文章大意，不需要听懂每个单词，记录下自己没

分类标签英语听力练习TheOfficeCutItOut对话学习

12-01 16:21

MÜNN 2021秋冬系列：以“CUTOUT/抉”为主题的韩国民族服装文化与街头潮流的完美融合

MÜNN 2021秋冬系列：以“CUTOUT/抉”为主题的韩国民族服装文化与街头潮流的完美融合MÜNN是近年于欧洲备受注目的韩国品牌之一，品牌设计师Hyun-minHan在2021秋冬系列以“CUTOUT/抉”为主题，优雅地破坏衣服本来的形态，以一贯擅长的解构技巧，将传统的韩国民族服装文化融入街头潮

分类标签 MÜNN韩国品牌2021秋冬系列

12-01 16:20

2023年11月第4波干货合集推荐设计和艺术相关网站和AI工具

2023年11月第4波干货合集推荐设计和艺术相关网站和AI工具大家好，这是2023年11月的第4波干货合集！本文推荐了3个值得收藏的设计和艺术相关的网站，以及3个AI相关的工具。1、内容超全的当代线上艺术档案馆https://www.ubu.com/UbuWeb是一个内容极为丰富的、内里界限模糊的前

分类标签干货合集设计艺术网站AI工具

11-30 22:10

音乐人的“噩梦”？StabilityAI推出音乐生成工具StableAudio

背景StabilityAI推出了一款音乐生成工具StableAudio，它采用了“潜在扩散模型”，用户只需要输入关键词，就可以一键生成音频。StableAudio可以生成长达90秒的音乐，而其他模型通常只能生成几秒钟的音频片段。这一创新是通过潜在扩散技术实现的，StableAudio的模型可以逐渐减

分类标签 StabilityAIStableAudio音乐生成工具

11-17 22:19

中国式浪漫

中国式浪漫中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊，相互倾诉着深情而含蓄的爱意。这种浪漫，不单单是一种场景的表达，更多的是一种文化的传承。在现代社会中，这种东方之美依然在中国式的爱情中得以体现。例如，现代新人在婚礼上常常选

分类标签中国式浪漫东方之美传统与现代的碰撞

10-27 02:18

触站AI：让你轻松绘画的AI软件

一、什么是触站AI？触站AI是触站原创画师作品分享平台旗下的AI绘画系统。它使用了最新的AI技术，可以通过添加描述脑海中的画面，选择原画、漫画、游戏CG、科技幻想等风格，添加辅助词语：动作、服饰、表情及其他图片参考，生成出不同形状的图片，同时还能够生成与你描述内容相对应的笔刷。这使得触站AI成为了一

分类标签触站AIAI绘画人工智能软件

10-23 03:20

文心·一格：百度推出的AI作画平台

文心·一格：百度推出的AI作画平台文心一格是百度基于飞桨和文心大模型技术创新推出的AI作画平台，可实现AI辅助创作。该平台在2022年8月19日的中国图象图形大会CCIG2022正式发布，是首款产品。MuseArtMuseTransfer的延伸区MuseArtMuseTransfer是为创作者而建的

分类标签文心一格AI作画百度

10-23 03:18

音乐创业公司Riffusion完成400万美元新一轮融资

近日，音乐创业公司Riffusion完成了价值400万美元的新一轮融资，本轮融资由GreycroftPartners领投，SouthParkCommons和Sky9参投。该轮资金将用于进一步开发人工智能技术，生成原创音乐。Riffusion最初是作为一个免费开源工具创建，它通过使用AI，将简单的文本

分类标签 Riffusion人工智能技术原创音乐

10-22 23:22

昆仑万维旗下StarXMusicXLab发布五首由AI生成的歌曲

昆仑万维旗下StarXMusicXLab发布五首由AI生成的歌曲音乐实验室是昆仑万维以人工智能应用场景落地为方向，以AI音乐生成为主要研究方向成立的机构，依托成熟专业的全链路音乐制作和海外发行能力，向全球输出高质量单曲、配乐、氛围音乐。据介绍，StarXMusicXLab音乐实验室的AI作曲技术拥有

分类标签昆仑万维StarXMusicXLabAI生成歌曲

10-18 09:08

中央音乐学院举办“面向未来——电子音乐与AI的交响”音乐会

中央音乐学院举办“面向未来——电子音乐与AI的交响”音乐会中央音乐学院举办了“面向未来——电子音乐与AI的交响”音乐会，是国内首场深度融合AIGC、3D音频、脑科学等前沿科技的音乐会。音乐会由中央音乐学院院长俞峰担任艺术总监，中国科学院院士管晓宏担任AI技术总监，中央音乐学院音乐人工智能与音乐信息科

分类标签中央音乐学院电子音乐人工智能

10-18 09:06

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway