新知榜官方账号
2023-11-25 16:31:17
六一儿童节这天,腾讯AI“艾灵”正式宣布出道。AI“艾灵”诞生自腾讯AILab的实验探索性技术项目——AI数字人。该项目的目标是计算机视觉、语音/歌声合成和转换、图像/视频合成和迁移、自然语言理解等多模态AI能力融合,生成可交互内容,并打造出拟人度较高的智能数字人。
艾灵与王俊凯共同创作歌曲《点亮》,该新歌与众不同的地方是,在H5界面,用户仅需选取几个关键词,艾灵就能基于此创作歌词并完成演唱。艾灵能与王俊凯一同创造歌曲,则主要依托了AILab两项最新研究成果:DurIAN个性化歌声合成和歌词创作模型SongNet。艾灵可依据选取关键词作词演唱DurIAN声学模型,让AI学会人类歌唱技巧。
基于DurIAN声学模型,艾灵的歌声合成要经过以下三个步骤:首先,研究者以音素为基本发音单元将任意歌曲描述为一连串音素的序列;然后通过分析歌谱,从文字、旋律、节奏等多个维度分别提取和预测词曲中每个音素的发音、时长、停顿、音高、风格和演唱技巧等特征;最后使用由真人(中国网络声优龟娘)演唱的歌声训练得到的深度神经网络声学模型和声码器模型,合成出与真人声线高度相似歌声音频。
SongNet模型最大的特点是可以给定任意格式和模板来生成相契合的文本。通过局部和全局两种注意力机制达到了对上下文语义和格式同时建模的目的。SongNet模型框架还采用了类似于BERT和GPT的预训练和微调范式,通过在大规模文本语料的预训练和歌词语料的微调过程,可以进一步提升模型生成歌词的质量。
腾讯AILab表示,AI歌声合成技术可以用于降低歌曲制作过程中录音环节的成本,更可以用于打造虚拟偶像,成为广大专业和社区音乐人的制作工具。除了AI歌声合成技术之外,腾讯AILab还在研究数据量极小和录音质量差条件下的歌声合成。
未来艾灵还能借助腾讯AILab研发的王者荣耀游戏解说生成模型来生成游戏解说词,再通过语音合成实时生成生动活泼的解说。
相关工具
相关文章
推荐
300美元的AI男友来了!马斯克的情感生意从女友做到男友
2025-08-01 17:56
Agent智能体:2025年企业新员工,月薪仅需一度电?
2025-07-30 17:49
国产GLM-4.5把AI价格打到地板价,实测强到离谱!
2025-07-30 09:08
用AI批量生成治愈系漫画,月入2000+
2025-07-29 09:59
千亿市场规模背后,AI短剧商业化迎来爆发期?
2025-07-17 09:19
15个作品涨粉26万!AI历史账号又出王炸案例!
2025-07-09 09:37
亲测真香!这6个AI工具让工作效率翻倍,同事追着问链接
2025-06-17 16:21
FLUX.1 Kontext 一出,AI生图领域 “地震” 了!
2025-06-06 15:38
用Deepseek写AI绘图提示词,像呼吸一样简单!
2025-02-19 16:12
你以为AI绘画是黑科技?其实早成了“路边摊生意”!
2025-02-19 10:15