百度AI最新技术能克隆你的声音

新知榜官方账号

2023-09-30 17:18:20

背景介绍

百度DeepVoice项目最新get的能力，只需要听你说几句话，AI就能“克隆”出你的声音。DeepVoice推出于一年多以前，是一个能实时合成语音的神经网络系统。当时的第一代产品，一个系统只能学习一个人的声音，而且需要用几小时音频进行训练。百度一直在优化DeepVoice，随后的第二、三代模型就将所需的训练数据降到了半小时，一个系统还能模仿数千人的声音。这次的“语音克隆”研究，是这一系统的最新进步。

语音克隆效果

百度AI一分钟就能模仿你的声音，只需要10段说话人语音样本，最少只有1个，每段样本只有3秒。通过10段样本合成出来的语音，就很自然、和原说话人非常相似了。1段、5段样本训练出来的语音，无论用哪种模型，依然明显不像人类。

语音克隆技术探讨

百度探讨了解决语音克隆问题的两种基本方法：说话人适应（speaker adaptation）和说话人编码（speaker encoding）。这两种方法的主要过程如下图所示：

两种方法都适用于带有说话人嵌入的多说话人语音生成模型，不会降低其质量。说话人适应基于反向传播，用少量样本对多说话人生成模型进行微调。说话人编码会单独训练一个模型，根据要克隆的音频，结合多说话人生成模型，来推理新的说话人嵌入。

语音克隆应用场景

听几句话就能模仿你，百度并不是唯一一家，加拿大AI创业公司Lyrebird去年也发布了类似的产品，能通过1分钟音频模仿说话人。这款产品模仿川普、奥巴马、希拉里的音频，可以说是广为流传。语音克隆技术的应用场景很广泛，比如可以用来制作虚拟助手、语音合成等等。

论文链接

想深入了解百度这次的语音克隆进展，可以查看他们的论文：Neural Voice Cloning with a Few Samples

本页网址：https://www.xinzhibang.net/article_detail-14541.html

寻求报道，请

关键词

百度AI 语音克隆 DeepVoice项目

分享至微信：

相关工具

BgRem

无水印AI视频背景移除

Hour One

人工智能文字到视频生成

Lumen5

AI将博客文章转换成视频

Veed Video Background Remover

Veed推出的AI视频背景移除工具

Synthesys

AI虚拟人出镜讲解

Fliki

AI文字转视频并配音

视频翻译工具myheygen的详细安装及使用教程

视频翻译工具myheygen的详细安装及使用教程近期，一款名为“视频翻译”的工具引起了广泛关注。这不是一个简单的网页应用，而是一个可以免费部署在个人电脑或服务器上的实用程序。它的强大之处在于能够翻译任意时长的视频内容。所谓的视频翻译，实际上是指同声传译。虽然这类工具并非近期才问世，市场上已有多款成熟

分类标签视频翻译工具myheygen安装教程

12-03 16:20

Pika获得5500万美元融资，将推出多种风格视频编辑工具

Pika获得5500万美元融资，将推出多种风格视频编辑工具Pika是一家创造AI驱动平台以编辑和从标题及静态图像生成视频的初创公司，今天宣布在LightspeedVenturePartners领投的融资轮中筹集了5500万美元。此轮融资还得到了Homebrew、ConvictionCapital、S

分类标签 PikaAI驱动平台视频编辑工具

11-30 08:49

每日AIGC关注：AI前沿科技资讯及开源工具

双阶方法实现更高清的文本视频生成I2VGen-XL模型采用双阶段方法解决视频合成中的挑战，例如保持语义准确性和清晰、连续的图像，首先将语义连贯性与视频质量增强分开处理。第一阶段专注于保留静态图像的内容，第二阶段则细化细节和分辨率。开源MusicGen升级至立体声生成AudiocraftMusicGe

分类标签视频合成文本转化为音乐计算机视觉精细调整模型人工智能多语言模型

11-30 08:48

Runway Gen1使用教程

Runway Gen1使用教程最近有好几个学员私信我们，让我出一期Runway完整的使用教程，刚好11月Runway对外发布运动涂笔等新功能，那么今天就给大家安排一期全功能，超详细的从Gen1到Gen2的使用教程。Runway是国外一家在线视频剪辑制作网站，作为全球AI视频制作前沿模型，目前拥有30

分类标签 RunwayGen1视频制作

11-30 08:41

RunwayGen1使用教程（二）：Gen2、FI教程详解

RunwayGen1使用教程（二）：Gen2、FI教程详解昨天给大家分享了RunwayGen1的使用教程，一篇文章就能让你轻松掌握使用文字和图像从现有视频生成新的视频技能，还没有看过的同学们可以回看过往文章。Runway视频生成功能有3大核心成品Gen1：视频转视频工具Gen2：视频生成编辑工具FI

分类标签 RunwayGen1视频生成Gen2FI

11-29 04:09

图片生成数字人：创新无限，将未来绘制在指尖

随着人工智能技术的不断发展，图片生成数字人已经逐渐走入我们的视野，并为我们带来了许多独特的好处。图片生成数字人提供了强大的创作工具，让艺术创作者能够以更直观的方式表达自己的思想和想象力。借助这个技术，他们可以轻松地创建独一无二的角色形象，打破了传统手绘受限的局限性，为艺术创作带来了全新的可能性。此外

分类标签图片生成数字人人工智能技术万彩AI

11-20 22:18

用万彩微影让自己的照片变身数字人

用万彩微影让自己的照片变身数字人万彩微影是一个在线AI创作平台，可以将用户上传的照片转化为数字人，实现个性化创作。通过数字人，用户可以展示自己的个性，传达情感，进行创作，打开一个无限创意的世界。当下AI技术日新月一响，猛发展。其中一项独特而有趣的应用便是用自己的照片生成数字人。这项技术的好处不胜枚举

分类标签万彩微影数字人AI创作平台

11-20 22:17

惊喜无限！AI自动生成视频，让你惊喜连连

惊喜无限！AI自动生成视频，让你惊喜连连如今，随着科技的不断进步，AI技术的应用范围也越来越广泛。其中一项令人震惊的技术就是AI自动生成视频。这项技术不仅给我们带来了极大的便利，更是为我们带来了惊喜无限的体验。AI自动生成视频无论在内容创作还是消费娱乐方面都具备巨大的好处。传统的视频制作需要大量的人

分类标签 AI自动生成视频万彩AI在线AI创作平台

11-20 16:21

AI合成视频的惊喜魅力

现如今人工智能AI技术正在以前所未有的速度发展，其中AI合成视频技术领域迎来了革命性的突破，不仅将我们带入了炫彩分成了虚拟世界，更为人们创作带来了前所未有的便利与乐趣。在这个充满创新的时代，万彩AI提供了一款强大的在线AI创作平台，让任何人都可以轻松合成出令人叹为观止的视频作品。AI合成视频不仅可以

分类标签 AI合成视频万彩微影人工智能

11-20 16:20

AI技术颠覆视频行业，Runway推出运动画笔

AI技术颠覆视频行业，Runway推出运动画笔AI技术又一次颠覆了视频行业的格局，让制作视频更加轻松了。Runway推出的运动画笔可以让用户自己控制键，想哪动哪动想动哪动哪。只要用画笔把想动的地方涂上，AI会自动计算这个动作所需要的光影气氛动作逻辑，整个过程行云流水自然丝滑，让栩栩如生不再只是“如生

分类标签 AI视频工具运动画笔影视行业

11-18 04:18

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway