Meta推出开源AI语言模型,可识别超过4000种口语

新知榜官方账号

2023-09-25 04:06:21

Meta公司周一(5月22日)推出了一个开源AI语言模型——大规模多语言语音(MassivelyMultilingualSpeech,MMS)模型。该模型可以识别超过4000种口语,是以往任何已知技术的40倍;该模型还将文本语音互转技术从100多种语言扩展到1100多种。Meta选择将MMS模型开源,以帮助保护语言多样性,并鼓励研究人员在其基础上进行进一步开发。

Meta公司在新闻稿中写道,“今天,我们公开分享我们的模型和代码,以便研究界的其他人可以在我们的工作基础上继续发展。通过这项工作,我们希望为保护全世界令人惊叹的语言多样性做出一点贡献。”

数据采集语音识别和文本到语音模型通常需要对模型进行数千小时的音频训练,并附带语音转录标签。这些标签对机器学习至关重要,它使算法能够更准确地分类和理解数据。如此一来,收集数千种语言的音频数据是Meta面临的第一个挑战,而现有最大的语音数据集最多涵盖100种语言。

对于那些在工业化国家没有被广泛使用的语言,其中的许多语言在未来几十年甚至存在消失的风险。Meta使用了一种非常规的方法来收集音频数据:利用翻译完成的宗教文本的录音。该公司表示,“为了克服这个问题,我们转向了宗教文本,如圣经,这些文本已被翻译成多种不同的语言,这些译本也已被用于广泛的语言研究中。”

这些宗教文本的各语言译本也有专业人士进行阅读并录音。作为MMS项目的一部分,Meta创建了一个超过1100种语言的“《新约》阅读数据集”,平均每种语言有32小时的数据。此外,Meta还指出,考虑到其他宗教类读物的未标记录音,我们将可提供的语言数量增加到4000多种。

Meta在新闻稿中提出,希望扭转世界语言逐渐减少的趋势,希望每个人都能用自己的第一语言来获取信息或使用技术。

本页网址:https://www.xinzhibang.net/article_detail-13579.html

寻求报道,请 点击这里 微信扫码咨询

关键词

Meta AI语言模型 口语识别

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯