用稳定扩散算法生成音乐的新机器

新知榜官方账号

2023-07-05 16:54:32

稳定扩散算法可以适应图像生成，从而创造、插值和循环新的音乐片段和流派。

SethForsgren和HaykMartiros将稳定扩散（SD）算法适用于音乐，结果创造了一种新的奇怪的"音乐机器"。

Riffusion的工作原理与SD相同，将文本提示变成新的、由人工智能生成的内容。主要的区别是，该算法经过专门的声波训练，可以以视觉形式描述音乐和音频。

正如Riffusion网站所解释的那样，声波图（或音频频率的频谱图）是表示声音片段的频率内容的一种视觉方式。X轴代表时间，而Y轴代表频率。每个像素的颜色给出了音频在其行和列给出的频率和时间的振幅。

Riffusion适应了稳定扩散视觉算法的V1.5版本，"没有任何修改"，只是进行了一些微调，以更好地处理与文本配对的声谱/音频谱图的图像。音频处理发生在模型的下游，而该算法也可以通过改变种子来生成提示的无限变化。

在生成新的声谱图后，Riffusion用Torchaudio将图像变成声音。人工智能已经接受了描绘声音、歌曲或流派的频谱图的训练，因此它可以根据各种文本提示生成新的声音片段。例如，像"贝多芬与Radiohead"这样的融合产物，这是一个很好的例子，说明另一个世界或不可思议的机器学习算法可以表现得很好。

在设计完理论后，Forsgren和Martiros将其全部整合到一个互动的网络应用中，用户可以在其中试验人工智能。Riffusion接受文本提示，并"实时无限地生成插值内容，同时将频谱图的时间线以3D形式可视化"。音频从一个片段平滑地过渡到另一个片段；如果没有新的提示，该应用程序将在同一提示的不同种子之间插值。

Riffusion远不是第一个生成音频的人工智能，它是ML复兴的另一个后代，它已经启发了DanceDiffusion、OpenAI的Jukebox、Soundraw等的发展，当然这些都不会是最后一个。

了解更多：https://www.riffusion.com/about

本页网址：https://www.xinzhibang.net/article_detail-5912.html

寻求报道，请

关键词

分享至微信：

相关工具

讯飞智作

科大讯飞推出的AI转语音和配音工具

魔音工坊

短视频/有声书AI配音平台，由出门问问推出

Typecast

在线AI文字转语音生成工具

Audo Studio

AI音频清洗工具（噪音消除、声音平衡、音量调节）

Clipchamp AI旁白生成器

Clipchamp的文字转语音生成器

AssemblyAI

转录和理解语音的AI模型

英语听力练习：The Office - Cut It Out

欢迎关注我，每日分享优质英语听力！本文提供了一段The Office的对话，通过三个步骤进行听力练习，并提供了听力技巧。 Step 1: 盲听。先把整个音频全听完，这个过程先不要看文本，为更好地练习听力。本音频制作成3遍：第1遍：慢速播放对话，这一遍旨在听懂文章大意，不需要听懂每个单词，记录下自己没

分类标签英语听力练习TheOfficeCutItOut对话学习

12-01 16:21

MÜNN 2021秋冬系列：以“CUTOUT/抉”为主题的韩国民族服装文化与街头潮流的完美融合

MÜNN 2021秋冬系列：以“CUTOUT/抉”为主题的韩国民族服装文化与街头潮流的完美融合MÜNN是近年于欧洲备受注目的韩国品牌之一，品牌设计师Hyun-minHan在2021秋冬系列以“CUTOUT/抉”为主题，优雅地破坏衣服本来的形态，以一贯擅长的解构技巧，将传统的韩国民族服装文化融入街头潮

分类标签 MÜNN韩国品牌2021秋冬系列

12-01 16:20

2023年11月第4波干货合集推荐设计和艺术相关网站和AI工具

2023年11月第4波干货合集推荐设计和艺术相关网站和AI工具大家好，这是2023年11月的第4波干货合集！本文推荐了3个值得收藏的设计和艺术相关的网站，以及3个AI相关的工具。1、内容超全的当代线上艺术档案馆https://www.ubu.com/UbuWeb是一个内容极为丰富的、内里界限模糊的前

分类标签干货合集设计艺术网站AI工具

11-30 22:10

音乐人的“噩梦”？StabilityAI推出音乐生成工具StableAudio

背景StabilityAI推出了一款音乐生成工具StableAudio，它采用了“潜在扩散模型”，用户只需要输入关键词，就可以一键生成音频。StableAudio可以生成长达90秒的音乐，而其他模型通常只能生成几秒钟的音频片段。这一创新是通过潜在扩散技术实现的，StableAudio的模型可以逐渐减

分类标签 StabilityAIStableAudio音乐生成工具

11-17 22:19

中国式浪漫

中国式浪漫中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊，相互倾诉着深情而含蓄的爱意。这种浪漫，不单单是一种场景的表达，更多的是一种文化的传承。在现代社会中，这种东方之美依然在中国式的爱情中得以体现。例如，现代新人在婚礼上常常选

分类标签中国式浪漫东方之美传统与现代的碰撞

10-27 02:18

触站AI：让你轻松绘画的AI软件

一、什么是触站AI？触站AI是触站原创画师作品分享平台旗下的AI绘画系统。它使用了最新的AI技术，可以通过添加描述脑海中的画面，选择原画、漫画、游戏CG、科技幻想等风格，添加辅助词语：动作、服饰、表情及其他图片参考，生成出不同形状的图片，同时还能够生成与你描述内容相对应的笔刷。这使得触站AI成为了一

分类标签触站AIAI绘画人工智能软件

10-23 03:20

文心·一格：百度推出的AI作画平台

文心·一格：百度推出的AI作画平台文心一格是百度基于飞桨和文心大模型技术创新推出的AI作画平台，可实现AI辅助创作。该平台在2022年8月19日的中国图象图形大会CCIG2022正式发布，是首款产品。MuseArtMuseTransfer的延伸区MuseArtMuseTransfer是为创作者而建的

分类标签文心一格AI作画百度

10-23 03:18

音乐创业公司Riffusion完成400万美元新一轮融资

近日，音乐创业公司Riffusion完成了价值400万美元的新一轮融资，本轮融资由GreycroftPartners领投，SouthParkCommons和Sky9参投。该轮资金将用于进一步开发人工智能技术，生成原创音乐。Riffusion最初是作为一个免费开源工具创建，它通过使用AI，将简单的文本

分类标签 Riffusion人工智能技术原创音乐

10-22 23:22

昆仑万维旗下StarXMusicXLab发布五首由AI生成的歌曲

昆仑万维旗下StarXMusicXLab发布五首由AI生成的歌曲音乐实验室是昆仑万维以人工智能应用场景落地为方向，以AI音乐生成为主要研究方向成立的机构，依托成熟专业的全链路音乐制作和海外发行能力，向全球输出高质量单曲、配乐、氛围音乐。据介绍，StarXMusicXLab音乐实验室的AI作曲技术拥有

分类标签昆仑万维StarXMusicXLabAI生成歌曲

10-18 09:08

中央音乐学院举办“面向未来——电子音乐与AI的交响”音乐会

中央音乐学院举办“面向未来——电子音乐与AI的交响”音乐会中央音乐学院举办了“面向未来——电子音乐与AI的交响”音乐会，是国内首场深度融合AIGC、3D音频、脑科学等前沿科技的音乐会。音乐会由中央音乐学院院长俞峰担任艺术总监，中国科学院院士管晓宏担任AI技术总监，中央音乐学院音乐人工智能与音乐信息科

分类标签中央音乐学院电子音乐人工智能

10-18 09:06

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway