谷歌提出基于视觉的音频数据扩增方法SpecAugment

新知榜官方账号

2023-10-02 03:02:15

背景

音频转录成文本的技术在自动语音识别过程中起着至关重要的作用,但缺乏足够大的数据集,模型过拟合严重,因此如何扩增音频数据是个大问题。

方法

谷歌提出了一种基于视觉的音频数据扩增方法SpecAugment,将扩增策略直接应用于音频频谱图,通过时间方向上的扭曲改造频谱图,并及时修改、屏蔽连续频率频道块和语言频道块,能让神经网络更强健,帮助抵抗时间方向上的变形,也会防止频率信息和语音片段信息丢失。

效果

在大型开源语音识别数据集LibriSpeech上进行实验,采用转录过程的词错率(WordErrorRate,WER)来衡量结果,结果表明,在LibriSpeech数据集上,SpecAugment扩增方法能明显降低词错率,平均词错率大致降低5%,并且能有效防止神经网络过拟合。

结论

基于视觉的音频数据扩增方法SpecAugment简单、计算成本低,并且不再需要其他额外数据,在自动语音识别任务中效果惊艳,具有很好的应用前景。

本页网址:https://www.xinzhibang.net/article_detail-14813.html

寻求报道,请 点击这里 微信扫码咨询

关键词

音频数据扩增 自动语音识别 SpecAugment

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯