谷歌新模型MusicLM：根据文本生成任何类型音乐

新知榜官方账号

2023-07-05 16:58:37

谷歌最新的音乐生成模型MusicLM可以根据文本生成任何类型的音乐，不管是根据时间、地点、年代等各种因素来调节，还是给故事情节、世界名画配乐、生成人声rap口哨，通通不在话下。

MusicLM背靠280000小时音乐的训练数据库，具备长段音乐创作、故事模式、调节旋律等方面的能力。在长段音乐方面，它能完成5分钟即兴创作，即便提示只有一个词。而在故事模式中，不同的情标记甚至可以精确到秒的生成，哪怕情境之间完全没有任何联系。

MusicLM最大的亮点莫过于就是根据丰富的文字描述来生成音乐，包括乐器、音乐风格、适用场景、节奏音调、是否包括人声（哼唱、口哨、合唱）等元素，以此来生成一段30秒的音乐。除此之外，MusicLM具备长段音乐创作、故事模式、调节旋律等方面的能力。

MusicLM是一个分层的序列到序列（Sequence-to-Sequence）模型，可以通过文本描述，以24kHz的频率生成音乐，并在几分钟内保持这个频率。研究团队使用了三个模型来用来预训练，包括自监督音频表征模型SoundStream，语义标记模型w2vBERT和音频文本嵌入模型Mulan。在280000个小时的训练后，MusicLM最终学会了保持24kHz的频率生成音乐，哪怕用来生成音乐的文本非常绕口。

虽然MusicLM在技术上可以生成合唱和声等人声，但是仔细听来，生成音乐的歌词，有的还勉勉强强听得出是音乐，有的根本就是无人能听懂的外星方言。此外，研究团队发现系统生成的音乐中，约有1%直接从训练集的歌曲中复制，这已经足以阻止对外发布MusicLM了。

不过，MusicLM在音频质量和文本契合度等方面都优于此前的音乐生成AI，谷歌研究团队也表示将会继续优化和改善MusicLM。而AI生成音乐是否会成为下一个风口，也值得关注。

本页网址：https://www.xinzhibang.net/article_detail-5914.html

寻求报道，请

关键词

分享至微信：

相关工具

Krisp

AI噪音消除工具

Riffusion

AI生成不同风格的音乐

Voicemaker

AI文本到语音生成工具

Audo Studio

AI音频清洗工具（噪音消除、声音平衡、音量调节）

Speechify

超2000万人都在用的文字转语音朗读器

LOVO AI

AI人声和文本转语音生成工具

英语听力练习：The Office - Cut It Out

欢迎关注我，每日分享优质英语听力！本文提供了一段The Office的对话，通过三个步骤进行听力练习，并提供了听力技巧。 Step 1: 盲听。先把整个音频全听完，这个过程先不要看文本，为更好地练习听力。本音频制作成3遍：第1遍：慢速播放对话，这一遍旨在听懂文章大意，不需要听懂每个单词，记录下自己没

分类标签英语听力练习TheOfficeCutItOut对话学习

12-01 16:21

MÜNN 2021秋冬系列：以“CUTOUT/抉”为主题的韩国民族服装文化与街头潮流的完美融合

MÜNN 2021秋冬系列：以“CUTOUT/抉”为主题的韩国民族服装文化与街头潮流的完美融合MÜNN是近年于欧洲备受注目的韩国品牌之一，品牌设计师Hyun-minHan在2021秋冬系列以“CUTOUT/抉”为主题，优雅地破坏衣服本来的形态，以一贯擅长的解构技巧，将传统的韩国民族服装文化融入街头潮

分类标签 MÜNN韩国品牌2021秋冬系列

12-01 16:20

2023年11月第4波干货合集推荐设计和艺术相关网站和AI工具

2023年11月第4波干货合集推荐设计和艺术相关网站和AI工具大家好，这是2023年11月的第4波干货合集！本文推荐了3个值得收藏的设计和艺术相关的网站，以及3个AI相关的工具。1、内容超全的当代线上艺术档案馆https://www.ubu.com/UbuWeb是一个内容极为丰富的、内里界限模糊的前

分类标签干货合集设计艺术网站AI工具

11-30 22:10

音乐人的“噩梦”？StabilityAI推出音乐生成工具StableAudio

背景StabilityAI推出了一款音乐生成工具StableAudio，它采用了“潜在扩散模型”，用户只需要输入关键词，就可以一键生成音频。StableAudio可以生成长达90秒的音乐，而其他模型通常只能生成几秒钟的音频片段。这一创新是通过潜在扩散技术实现的，StableAudio的模型可以逐渐减

分类标签 StabilityAIStableAudio音乐生成工具

11-17 22:19

中国式浪漫

中国式浪漫中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊，相互倾诉着深情而含蓄的爱意。这种浪漫，不单单是一种场景的表达，更多的是一种文化的传承。在现代社会中，这种东方之美依然在中国式的爱情中得以体现。例如，现代新人在婚礼上常常选

分类标签中国式浪漫东方之美传统与现代的碰撞

10-27 02:18

触站AI：让你轻松绘画的AI软件

一、什么是触站AI？触站AI是触站原创画师作品分享平台旗下的AI绘画系统。它使用了最新的AI技术，可以通过添加描述脑海中的画面，选择原画、漫画、游戏CG、科技幻想等风格，添加辅助词语：动作、服饰、表情及其他图片参考，生成出不同形状的图片，同时还能够生成与你描述内容相对应的笔刷。这使得触站AI成为了一

分类标签触站AIAI绘画人工智能软件

10-23 03:20

文心·一格：百度推出的AI作画平台

文心·一格：百度推出的AI作画平台文心一格是百度基于飞桨和文心大模型技术创新推出的AI作画平台，可实现AI辅助创作。该平台在2022年8月19日的中国图象图形大会CCIG2022正式发布，是首款产品。MuseArtMuseTransfer的延伸区MuseArtMuseTransfer是为创作者而建的

分类标签文心一格AI作画百度

10-23 03:18

音乐创业公司Riffusion完成400万美元新一轮融资

近日，音乐创业公司Riffusion完成了价值400万美元的新一轮融资，本轮融资由GreycroftPartners领投，SouthParkCommons和Sky9参投。该轮资金将用于进一步开发人工智能技术，生成原创音乐。Riffusion最初是作为一个免费开源工具创建，它通过使用AI，将简单的文本

分类标签 Riffusion人工智能技术原创音乐

10-22 23:22

昆仑万维旗下StarXMusicXLab发布五首由AI生成的歌曲

昆仑万维旗下StarXMusicXLab发布五首由AI生成的歌曲音乐实验室是昆仑万维以人工智能应用场景落地为方向，以AI音乐生成为主要研究方向成立的机构，依托成熟专业的全链路音乐制作和海外发行能力，向全球输出高质量单曲、配乐、氛围音乐。据介绍，StarXMusicXLab音乐实验室的AI作曲技术拥有

分类标签昆仑万维StarXMusicXLabAI生成歌曲

10-18 09:08

中央音乐学院举办“面向未来——电子音乐与AI的交响”音乐会

中央音乐学院举办“面向未来——电子音乐与AI的交响”音乐会中央音乐学院举办了“面向未来——电子音乐与AI的交响”音乐会，是国内首场深度融合AIGC、3D音频、脑科学等前沿科技的音乐会。音乐会由中央音乐学院院长俞峰担任艺术总监，中国科学院院士管晓宏担任AI技术总监，中央音乐学院音乐人工智能与音乐信息科

分类标签中央音乐学院电子音乐人工智能

10-18 09:06

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway