AI歌手：音色克隆模型sovits背后的工作流

新知榜官方账号

2023-07-05 17:30:40

AI歌手：音色克隆模型sovits背后的工作流

最近，AI歌手，特别是AI孙燕姿大火出圈。相比于绘画，声音是更容易打动受众的。我花了一周左右的时间，摸清楚了目前让AI歌手训练和唱歌的工作流。顺便做个科普，目前流行的AI孙燕姿、AI张国荣等，主要是基于sovits这个体系的软件制作的，程序完全开源。sovits与其说是AI，更贴切的说是一个音色克隆模型。它确实克隆了这些歌手的音色。然后，通过软件和模型的推理，把AI孙燕姿和AI张国荣的音色替换掉了里面的陈奕迅音色，最后再合成起来。sovits界面但实际上，要让这类AI孙燕姿、AI张国荣唱歌，你需要给它一个参考的歌曲版本；比如，陈奕迅版本的浮夸。出于测试和研究的目的，我也自己训练了张国荣LesileCheung的唱歌音色模型。炼制过程，其实和大多数深度学习类似，需要大量的声音素材作为基础训练数据。对于歌手来说，直接从歌曲取材，非常容易。然后就是流程化的数据清洗、训练……不具体展开。下面放出它的试唱：

来自AI创画家资深哥迷如我，一听就知道这还是AI，而且是不那么聪明的AI。你可以听见的是，上面这个浮夸，音色有8分相似张国荣；但整首歌的唱法是陈奕迅的。这种操作，也就意味着AI张国荣更像是语调声线的克隆，它并没有自己的歌风和唱法、上面的“浮夸”与其说是AI唱的，不如说是用张国荣的声线替换了陈奕迅的声线。当然，技术进步如斯恐怖。现在不能，不排除一年半载之后就可以有更多的表达。也正因为如此，上面这首歌，除了克隆张国荣声线之外，其实也克隆了陈奕迅的唱法。也就是说，假如真的要界定侵权，可不仅仅是克隆张国荣这块，陈奕迅也是有话要讲的。

那么，有没有不侵权的AI歌手呢？其实，现在也有真正意义上可编辑的AI音色库和AI歌姬推理软件。典型代表是acestudio和SynthesizerVStudio。你可以理解它们是可以调试的、更高级的AI，也是更加纯正的AI歌姬。它们无需要原音参考，只要给它们MIDI谱和歌词，它们就能唱起来。当然，这两个软件界面更复杂，上手更难，部分音色库是收费的。但它们是目前最没有版权风险的方向。acestudio

最后，AI孙燕姿火爆是火爆了，但这里面版权、侵权等不确定性的边界很多，一不小心可能就会过界。技术大家可以去了解掌握，但使用必须谨慎守法。这里本艺术家还是要补充一个提醒：AI是一把双刃剑，请勿把AI用在非法用途。

本页网址：https://www.xinzhibang.net/article_detail-5926.html

寻求报道，请

关键词

分享至微信：

相关工具

创作王

AI一键帮助你创作营销内容

ChatAI

AI内容创作工具

DeepL Write

DeepL推出的AI驱动的写作助手

HeyFriday

国内团队推出的智能AI写作工具

Copy.ai

人工智能营销文案和内容创作工具

Cohesive

人工智能文案内容创作和编辑工具

4个好用的AI写作神器，提高你的写作效率

AI写作工具可以提高写作效率公文写作建议大家自己写，AI写作工具只能作为辅助使用。对于简单的公文写作任务，AI写作工具确实能够提高效率，但需要注意内容质量、抄袭风险和格式规范等问题。本文介绍了4个好用的AI写作神器，支持生成多种类型的文章，可根据关键词一键生成内容，提高写作效率。以下是4个AI写作工

分类标签 AI写作公文写作SEO关键词

12-11 08:17

中国式浪漫

中国式浪漫中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊，相互倾诉着深情而含蓄的爱意。这种浪漫，不单单是一种场景的表达，更多的是一种文化的传承。在现代社会中，中国式的浪漫仍在不断地创新与融合。现代新人在婚礼上常常选择中式的婚纱，

分类标签中国式浪漫爱情传统文化

12-07 22:20

如何用AI提高效率

如何用AI提高效率在当今高速发展的社会中，效率是企业和个人都非常重视的一个方面。而随着人工智能技术的发展，越来越多的企业和个人开始尝试利用AI来提高工作效率。首先，AI可以帮助企业和个人自动化一些重复性的工作，比如数据处理、文件整理等等，从而节省时间和精力，在更短的时间内完成更多的工作。其次，AI可

分类标签 AI效率提高

12-07 08:00

美空军测试钢制碎片对铝制燃料箱的影响，评估前者对后者的穿透

美国航空航天学会（AIAA）主办的出版物《美国航空航天》（AerospaceAmerica）刊登了AIAA对2018年航空技术进展的年度回顾。该回顾中对于第一章“航空航天设计与结构”的AIAA共发表8篇回顾，如下：《结构动力学：设计世界上最大的风力涡轮机》（StructuralDynamics:De

分类标签美空军钢制碎片铝制燃料箱

12-04 08:20

How was the 7nm chip in the Huawei Mate 60 Pro produced in China?

How was the 7nm chip in the Huawei Mate 60 Pro produced in China? Dataderivedbybenchmarkingplatformsandthird-partyteardownreportsindicatethattheKirin9

分类标签 HuaweiMate60ProKirin9000S7nmchiplithographyDUVEUV

12-04 08:18

Visual Studio Code配置类插件推荐

Visual Studio Code配置类插件推荐在前端开发中，有一个非常好用的工具，VisualStudioCode，简称VScode。都不用我安利VScode，大家就会乖乖的去用，无数个大言不惭的攻城狮，都被VScode比德芙还丝滑的强大功能所折服。我是来给大家安利插件的，想做个比较全面的插件集

分类标签 VScode插件配置工具

12-04 08:17

魔兽服务端开服源文件各文件翻译

魔兽服务端开服源文件各文件翻译很多文件在服务器中我们知道是跟什么有关，但就是不知道其作用是什么。就算我们知道在这些地方中的文件都是有着不小的作用。但是由于不知道各个文件代表的是什么意思所以在面对这些文件的时候都会有无从下手的感觉，所以今天就来对这些比较重要的文件名进行翻译让我们能够知道这些看不懂的文

分类标签魔兽世界服务端文件翻译

12-04 08:16

StabilityAI推出最新的图像生成模型StableDiffusionXL1.0

StabilityAI推出最新的图像生成模型StableDiffusionXL1.0北京时间7月27日，StabilityAI宣布推出最新的图像生成模型StableDiffusionXL1.0，该模型包含35亿个参数，能在“几秒钟内”生成多种长宽比的100万像素分辨率的完整图像。StableDiff

分类标签 StabilityAIStableDiffusionXL1.0图像生成模型

11-24 08:35

最快的移动端StableDiffusion模型——SnapFusion

最快的移动端StableDiffusion模型——SnapFusionAI作图需要几天，再缩减到几十分钟，再到几分钟，出图时间在不断加速，问题是，究竟快到什么程度，才会在专业的美术从业者甚至普通大众之间普及开来？这个无法给出具体答案，但是可以确定的是AI作图在技术和速度上的突破，很可能已经接近甚至超

分类标签 StableDiffusionSnapFusiontexttoimage

11-24 08:34

AI写作的优势与应用

引言：AI写作的概念AI写作是指使用人工智能（AI）技术辅助或完全生成文本内容的过程。这种技术通常基于机器学习，尤其是自然语言处理（NLP）的原理。AI系统通过分析大量文本数据来学习语言的结构、语法和风格，从而能够生成流畅、连贯的文本。AI写作的应用非常广泛，从自动化新闻报道、内容创作到商业报告编写

分类标签 AI写作自然语言处理创作效率

11-24 08:19

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway