StabilityAI推出使用人工智能生成音乐的工具StableAudio

StableAudio：使用人工智能生成音乐的工具

位于伦敦的初创公司StabilityAI推出了StableAudio，这是一个使用人工智能从简单的文本输入生成自定义音乐曲目和音效的工具，具备在较长时间内生成专业音频的能力。

StableAudio的优势在于其能够以多种流派生成音乐作品，提供用户友好的基于浏览器的界面，面向需要快速背景音乐的创意专业人士。该系统在由AudioSparx提供的大型音乐库上进行了训练，而在训练中使用的歌曲的创作者则通过AudioSparx分享了StableAudio的利润，尽管仍存在有关潜在内容抄袭和版权问题的担忧。

StableAudio的特点

StableAudio使用一种基于扩散的AI模型，可以在几秒钟内从简单的文本输入生成定制音频文件。用户可以指定音乐风格、乐器、音调和其他特征，系统然后自动创作出相匹配的歌曲、音效或乐器声部。StabilityAI使用输入文本进行了测试，如“后摇滚、吉他、鼓套、低音、弦乐、欢快、振奋、情绪化、流畅、原始、史诗、多愁善感、125BPM”。结果是一首快速的大气摇滚歌曲，BPM为125。根据Stability的说法，这表明StableAudio可以生成多种风格的歌曲，包括氛围音乐、技术音乐和电子舞曲。

与以往基于人工智能的音乐生成器不同，StableAudio似乎能够以长达90秒的时间生成音乐上连贯的作品，并且以44.1kHz的专业音频质量。生成的样本音频听起来非常真实，几乎不会让人怀疑背后没有人类作曲家。根据StabilityAI的说法，使用NvidiaA100GPU，95秒音频可以在不到一秒钟内生成。这种技术有潜力在各种应用中发挥作用，特别是在电影制作和游戏开发等创意领域。通过网络浏览器可以访问，即使对人工智能不熟悉的用户也能轻松使用。

StableAudio的训练和音乐库

为了实现这种质量，StabilityAI对音乐库进行了培训，音乐库由AudioSparx提供。通过使用约80万首歌曲、音效和乐器片段，AudioSparx与StabilityAI合作，并承诺将音乐库的收入份额提供给初创公司StabilityAudio。作为回报，参与培训的歌曲的创作者可以通过AudioSparx分享StableAudio的利润。据称，在培训之前，这些创作人被问及是否愿意提供他们的歌曲。这个决定可能是对Stability在StableDiffusion的培训素材涉及版权辩论中所面临的大规模反对的回应。

StableAudio的使用和商业模式

根据StabilityAI的说法，用户可以免费将使用StableAudio创建的音轨用于个人用途。商业用途需要付费订阅。该公司的目标是创意专业人士，如电影制片人或游戏开发人员，他们需要快速获得合适的背景音乐。StabilityAI还计划发布一个基于不同数据集训练的开源音乐模型。StableAudio不同于StableDiffusion，因为它不是开源的，不像流行的图像模型那样。然而，FAQ中表示，将很快发布一个基于其他数据集训练的开源模型。

StableAudio的底层技术

StableAudio的基础是文本到音乐的模型DanceDiffusion，该模型是在2022年由Harmonai发布的，并得到了Stability的支持。然而，StableAudio是StabilityAI音频部门从零开始开发的模型，该部门成立于2022年4月。对音乐使用扩散模型并不是一个新的想法。然而，StableAudio的强大之处在于它能够以不同长度生成作品，训练过程中考虑到了这一点。StabilityAI是这样解释底层技术的:StableAudio是一个潜在扩散模型，由几个部分组成:变分自动编码器（VAE）、文本编码器和基于U-net的扩散模型。VAE将立体声音频压缩为有损、抗噪声和可逆的潜在编码，从而实现更快的生成和训练。新训练的CLAP模型的冻结文本编码器用于文本提示。定时嵌入在训练期间计算并用于控制输出音频长度。StableAudio的扩散模型是基于Moûsai模型的9.07亿参数U网。您可以通过最近推出的网络界面专门使用稳定音频。

StableAudio的潜在问题

每月有20首时长不超过45秒的歌曲免费供个人使用。每月只需11.99美元，即可获得500首歌曲，播放时间长达90秒，并获得商业许可。没有内容过滤器很容易导致抄袭该工具还可以用来伪造流行艺术家的歌曲。到目前为止，唱片公司已经能够成功地对抗此类人工智能创作，但法律状况仍不清楚。StabilityAI本身在接受Techcrunch采访时坚称，它希望负责任地使用该技术。AudioSparx的数据库不包含流行歌曲，但许多歌曲都以知名艺术家的风格进行标记。与谷歌的MusicLM不同，著名艺术家的名字不会被屏蔽，至少目前还没有。StableAudio能否为StabilityAI的商业模式带来回报还有待观察，该商业模式迄今为止一直处于亏损状态。无论如何，人工智能作品的令人印象深刻的质量让你刮目相看。