AI学习语言:从词法音位学开始重新研究

新知榜官方账号

2023-10-12 18:38:43

背景

让计算机理解人类的语言一直是人工智能领域迈不过的难关。早期的自然语言处理模型通常采用人工设计特征,需要专门的语言学家手工编写pattern,但最终效果却并不理想,甚至AI研究一度陷入寒冬。

每当我开除一个语言学家,语音识别系统就更准确了。EverytimeIfirealinguist,theperformanceofthespeechrecognizergoesup.——FrederickJelinek

有了统计模型、大规模预训练模型以后,特征抽取是不用做了,但仍然需要对指定任务进行数据标注,而且最关键的问题在于:训练得到的模型还是不懂人类的语言。所以,我们是不是该从语言最初的形态开始重新研究:人类到底是怎么获得语言能力的?

词法音位学

最近来自康奈尔大学、麻省理工学院和麦吉尔大学的研究人员在NatureCommunications上发表了一篇论文,提出一个算法合成模型的框架,在人类语言的最基础部分,即词法音位学(morpho-phonology)上开始教AI学习语言,直接从声音中构建语言的词法。

词法音位学是语言学分支之一,主要关注语素在组合成词时发生的音变,试图给出一系列规则,以预判语言中音素的规律变声。通过对58种语言的音位教科书上收集得到了70个数据集的研究,研究人员发现该模型仅从一个或几个样例中就可以获取新的词法音位规则,并且能够提取出通用的跨语言模式,并以紧凑的、人类可理解的形式表达出来。

让AI模型做“语言学家”

人类的智能主要体现在建立认知世界理论的能力,比如自然语言形成后,语言学家总结了一套规则来帮助儿童更快速地学习特定语言,而当下的AI模型却无法总结规则,形成一套其他人可理解的理论框架。在建立模型之前要解决一个核心问题:如何描述一个词。在构建词表时,研究人员把每个词表示为一个<音标,语义集合>对,例如open表示为,过去式表示为,组合得到的opened表示为。

有了数据集以后,研究人员建立了一个模型,通过最大后验概率推理来解释在一组pair集合上生成语法规则,对词的变化进行解释。在声音的表示上,音素被表示为二元特征的向量,然后基于该特征空间定义语音规则。研究人员采用经典的规则表述方式,即情境相关记忆,每个规则的写法是(focus)→(structural_change)/(left_trigger)_(right_trigger),意思是只要左/右触发环境紧靠focus的左/右,焦点音素就会根据结构变化进行转换。触发环境指定了特征的连接,例如在英语中,只要左边的音素是[-sonorant],在词末的发音就会从/d/变成/t/,写成规则就是[-sonorant]→[-voice]/[-voice-sonorant]_#。

算法合成模型

为了学习这种语法,研究人员采用了贝叶斯程序学习的方法。将每个语法规则T建模为一种编程语言中的程序,这种语言捕捉了问题空间的特定领域的约束。所有语言共同的语言结构被称为通用语法。该方法可以被看作是语言学中一个长期存在的方法的现代实例,并采用人类可理解的生成性代表来正式确定通用语法。

在实验评估阶段,研究人员从语言学教科书中搜集了70个问题,每个问题都要求对一些自然语言中的一些形式的理论进行综合分析。在评估上,可以发现规则的准确性与词库的准确性呈正相关。当系统得到所有词库的正确性时,它很少引入无关的规则,而且几乎总是得到所有正确的规则。

本页网址:https://www.xinzhibang.net/article_detail-16558.html

寻求报道,请 点击这里 微信扫码咨询

关键词

AI 语言学家 词法音位学

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯