首页 > 行业观察 > 自然语言处理的一些瓶颈思考与探索

自然语言处理的一些瓶颈思考与探索

新知榜官方账号

2023-11-18 04:28:22

自然语言处理的一些瓶颈思考与探索

11月14日至15日,由中国人工智能学会、嘉兴市人民政府主办,嘉兴市南湖区人民政府、嘉兴科技城管理委员会、浙江未来技术研究院(嘉兴)共同承办的2020第十届中国智能产业高峰论坛(CIIS2020)在嘉兴南湖举办。在11月15日的自然语言理解专题论坛上,西湖大学特聘研究员张岳为我们带来了题为《自然语言处理的一些瓶颈思考与探索》的精彩演讲。

自然语言处理的进步

张岳介绍了自然语言处理方向的进步。他提到,对话系统、机器翻译、机器自动文摘等任务的进步主要是受益于大规模预训练的语言模型。这些模型通过预测互联网上的文本进行预训练,获得了一些语言知识,这些知识被证明还有词法、句法、语义甚至一定的常识知识,所以可以帮助我们把任务做好。

张岳介绍了GLUE和SuperGLUE两个自然语言处理领域常用的数据集集合,这些集合里包括了阅读理解、句法任务、情感分析、自然语言的文本推理等。像BERT这样的预训练模型,在这些任务上都做到了接近甚至超越人类的程度。

常识推理

张岳提到,机器在处理常识推理方面还存在一些瓶颈。他设计了三个从简单到难的任务来验证机器的常识判断能力。这些任务涵盖了人类情绪态度的推理、时间日期上的推理、对下一步一般人的选择需要有一个正确推断、对周围环境做很好推断和很多事实融合等。

实验结果表明,没有经过微调的预训练模型在判断题和原因选择上的表现只能达到70%和40%以上,有针对性地进行训练之后,模型在这些任务上的表现才能接近人类。不过,当前的模型在纯的逻辑推理上表现较差,在数学上也表现不佳。

逻辑推理

张岳提出,逻辑推理是死记硬背的题海战术绝对难以解决的问题。他介绍了从公务员考试里挖出来的一个阅读理解数据集,这个数据集是一个标准的阅读理解形式的数据,需要判断答案ABCD哪个对。

实验结果表明,当前的预训练模型在这些推理问题上表现较差,需要结合知识和符号主义算法进行互补。

本页网址:https://www.xinzhibang.net/article_detail-20398.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章

相关快讯

ChatGPT,Midjourney,文心一言,文心一格,bing新必应,Stable diffusion,文心一格,稿定设计,墨刀AI,mastergo,Adobe Firefly

短视频知识人物影响力榜

查看更多

新知榜独家 {{faTime.effecttime}}发布

总榜

人物 领域 粉丝数 影响力指数

{{item.manIndex}}

{{item.nickname}} {{item.field}}

{{item.fs}}

{{item.effect}}