首页 > 行业观察 > IBM和伦斯勒理工学院开发基于AI技术的汉语学习助手

IBM和伦斯勒理工学院开发基于AI技术的汉语学习助手

新知榜官方账号

2023-08-09 17:12:51

IBM研究院和伦斯勒理工学院(RPI)正在携手开创帮助学生学习汉语的新途径,希望以AI技术支持的助手配合沉浸式课堂环境进行教学,这在语言教学领域是前所未有的创举。这种课堂名叫认知沉浸室(CIR),能让学生感觉自己置身于中国的餐馆、园林或太极学习班中,与AI聊天机器人练习汉语对话。CIR是由IBM研究院和RPI合作的研究机构(CISL)开发的。

要学习一门新的语言,特别是像汉语这样高难度的语言,必须让学生获得大量实际练习对话技能的机会。通过沉浸式的文化氛围自然而然地掌握一门新语言,可能要比非沉浸式的练习有效得多。但是,大多数汉语初学者无法获得体验式学习的机会。这就是我们开发CIR的初衷。沉浸式游戏化课堂环境为了实现多种模式的自然沉浸式对话,CIR综合了语音文本转换,自然语言理解和计算机视觉等多种先进技术。

教室里放置了一套360度全景式显示系统、一套音频系统、多个摄像头、多部Kinect设备和多个话筒,当然还有用于支持AI技术的计算机系统,其中一部分放在教室里,还有一些位于云端。我们的目标是将沉浸式的认知技术与游戏元素相结合,让学生体验到一种文化环境,练习日常对话任务,并且获得智能助手的帮助。我们通过,在CIR中使用IBMWatson作为对话机器人,与学习汉语的学生进行交流。该项目采用了IBMWatson语音识别技术和针对英汉两种语言的自然语言理解技术。

在通过沉浸式氛围学习外语的过程中,学生遇到的最大障碍之一就是,害怕被母语使用者评判。但是在CIR中,学生可以借助虚拟的对话合作伙伴来练习词汇和发音,不必承受真实环境中的压力。许多语言学习研究者都在使用虚拟现实或增强现实技术,但我们研究的是真人沉浸式游戏环境,学生不需要穿戴专门的设备,就可以在这样的环境中实际游览。这反映了人机交互领域的一个大趋势,那就是我们在日常生活中的信息交流将会有更强的沉浸感,而人们与智能机器的交互也会向深度融合的方向迈进。

2017年晚秋时节,我们的系统已经在RPI校园里的中文1级课程中接受了测试。今年秋天,我们将继续在中文1级、2级和3级课程中使用AI作为教学工具,目标是在2019年夏天推出综合中文1-3级内容的新课程。课堂背后的研究——不仅仅是研究课堂认知与沉浸式系统实验室(CISL)是的一部分,专门构建并运用各种先进的技术,包括上下文感知系统(context-awaresystems)、语音声调轨迹分析(pitchtonecontouranalysis)、人类与AI机器人之间自然语言对话中的中英双语切换(language-switchbetweenChineseandEnglishinanaturallanguageconversationbetweenpeopleandAIagents)、多用户多模式交互(multi-usermultimodalinteraction)、决策过程中的推理和规划(reasoningandplanninginthedecision-makingprocess),以及自动生成描述、视觉和听觉信息的多模式故事叙述(multimodalstorytellingwithautomaticgenerationofnarrative,visualizationandsonification)。

认知沉浸室(CIR)是CISL的四个应用案例之一。该实验室还致力于增强群体智能,用于董事会等现实环境中的关键决策。在未来,这些新型认知与沉浸式系统将会从根本上改变人们的生活和工作方式。CIR的早期原型已经提供了很多研究用户交互的机会,让我们能够发现并应对语言学习领域的新挑战。

本页网址:https://www.xinzhibang.net/article_detail-9541.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章

相关快讯

ChatGPT,Midjourney,文心一言,文心一格,bing新必应,Stable diffusion,文心一格,稿定设计,墨刀AI,mastergo,Adobe Firefly

短视频知识人物影响力榜

查看更多

新知榜独家 {{faTime.effecttime}}发布

总榜

人物 领域 粉丝数 影响力指数

{{item.manIndex}}

{{item.nickname}} {{item.field}}

{{item.fs}}

{{item.effect}}