自然语言处理中的深度学习技术发展史

新知榜官方账号

2023-09-25 02:18:44

自然语言处理中的深度学习技术发展史

自然语言处理（NLP）是指机器理解并解释人类写作与说话方式的能力。近年来，深度学习技术在自然语言处理方面的研究和应用也取得了显著的成果。

在深度学习时代来临前，在2006年Hinton提出深度信念网络（DBN）之前，神经网络是一种极其复杂且难以训练的功能网络，所以只能作为一种数学理论来进行研究。在神经网络成为一种强大的机器学习工具之前，经典的数据挖掘算法在自然语言处理方面有着许多相当成功的应用。我们可以使用一些很简单且容易理解的模型来解决常见问题，比如垃圾邮件过滤、词性标注等。但并不是所有问题都能用这些经典模型来解决。简单的模型不能准确地捕捉到语言中的细微之处，比如讽刺、成语或语境。基于总体摘要的算法（如词袋模型）在提取文本数据的序列性质时效果不佳，而N元模型（n-grams）在模拟广义情境时严重受到了“维度灾难（curseofdimensionality）”问题的影响，隐马尔可夫（HMM）模型受马尔可夫性质所限，也难以克服上述问题。这些方法在更复杂的NLP问题中也有应用，但是并没有取得很好的效果。

第一个技术突破：Word2Vec

神经网络能提供语义丰富的单词表征，给NLP领域带来了根本性突破。在此之前，最常用的表征方法为one-hot编码，即每个单词会被转换成一个独特的二元向量，且只有一个非零项。这种方法严重地受到了稀疏性的影响，不能用来表示任何带有特定含义的词语。我们可以尝试关注几个周围单词，移除中间单词，并通过在神经网络输入一个中间单词后，预测周围单词，这就是skip-gram模型；或是基于周围单词，进行预测中间单词，即连续词袋模型（CBOW）。当然，这种模型没什么用处，但是事实证明，它可在保留了单词语义结构的前提下，用来生成一个强大且有效的向量表示。

进一步改进

尽管Word2Vec模型的效果超过了许多经典算法，但是仍需要一种能捕获文本长短期顺序依赖关系的解决方法。对于这个问题，第一种解决方法为经典的循环神经网络（RecurrentNeuralNetworks），它利用数据的时间性质，使用存储在隐含状态中的先前单词信息，有序地将每个单词传输到训练网络中。事实证明，这种网络能很好地处理局部依赖关系，但是由于“梯度消失”问题，很难训练出理想效果。为了解决这个问题，Schmidhuber等人提出了一种新型网络拓扑结构，即长短期记忆模型（LongShortTermMemory）。它通过在网络中引入一种叫做记忆单元的特殊结构来解决该问题。这种复杂机制能有效获取单元间更长期的依赖关系，且不会显著增加参数量。现有的很多常用结构也是LSTM模型的变体，例如mLSTM模型或GRU模型。这得益于提出了基于自适应简化的记忆单元更新机制，显着减少了所需的参数量。

在计算机视觉领域中，卷积神经网络已经取得了很好的应用，迟早会延伸到自然语言处理研究中。目前，作为一种常用的网络单元，一维卷积已成功应用到多种序列模型问题的处理中，包括语义分割、快速机器翻译和某些序列转换网络中。由于更容易进行并行计算，与循环神经网络相比，一维卷积在训练速度上已提高了一个数量级。

了解常见的NLP问题

有许多任务，涉及到计算机与人类语言之间的交互，这可能对人类来说是一件简单的小事，但是给计算机带来了很大的麻烦。这主要是由语言中细微差异引起的，如讽刺、成语等。按照复杂程度，下面列出了当前还处于探索阶段的多个NLP领域：

情绪分析（SentimentAnalysis）
自动文本摘要（TextSummarization）
自动问答（QuestionAnswering）
机器翻译（MachineTranslation）
图片问答（VisualQuestionAnswering）

总结

我们可以发现，深度学习在自然语言处理中也取得了很好的效果。但是由于计算和应用等问题，我们仍需要进一步了解深度神经网络，一旦可以掌控深度学习，这将永远改变游戏规则。

本页网址：https://www.xinzhibang.net/article_detail-13530.html

寻求报道，请

关键词

分享至微信：

相关工具

Hocoos

无代码AI智能在线快速创建网站

Warp

21世纪的终端工具（内置AI命令搜索）

BLACKBOX AI

黑箱AI编程助理，快速代码生成

Boxy

CodeSandbox推出的AI编程助手

HeyCLI

自然语言转义为CLI命令

CodiumAI

AI代码测试工具

语音识别概念与技术

语音识别概念与技术语音识别是将人类语音转换为计算机可读的输入的技术。在语音识别过程中，包括语音信号采集、特征提取、模型训练、模型测试和应用部署。语音识别流程语音信号采集、特征提取、模型训练、模型测试和应用部署是语音识别的流程。语音识别算法常见的语音识别算法有隐马尔科夫模型、最大熵模型、支持向量机和深

分类标签语音识别算法麦克风

12-07 22:47

为什么越想让业绩增长越难增长，如何让业绩顺其自然且高效增长老陈的深度思考

为什么越想让业绩增长越难增长，如何让业绩顺其自然且高效增长老陈的深度思考业绩增长是企业的核心目标之一，但是很多企业却发现，越是想让业绩增长，反而越难增长。这是为什么呢？首先，我们需要明确一点，企业的业绩增长不能仅仅依靠销售人员的努力，它需要全企业的共同努力。而在实际操作中，往往存在以下问题：过分依赖

分类标签业绩增长高效增长市场产品经理

12-06 08:01

iPhone6s HeySiri功能随时启用，但不会泄露隐私

iPhone6s HeySiri功能随时启用，但不会泄露隐私在刚发布不久的苹果iPhone6s和iPhone6sPlus上有不少亮点，其中就包括可一直处于待命状态的新版“HeySiri”功能，有人担心这项新特性会导致“一呼百应”的尴尬情况，其实大可放心。得益于A9/A9X处理器中集成了M9协处理器，

分类标签 iPhone6sHeySiri语音控制

12-06 04:24

iOS9功能抄袭安卓？用户才是赢家

iOS9功能抄袭安卓？用户才是赢家近日发布的iOS9可谓吸引了众多果粉目光，尤其LightShift功能可谓是深深动摇了那些固守在iOS8的粉丝的心。似曾相识？没错，和f.lux插件功能基本一致，f.lux是一款会根据时间变化，自动调节电脑屏幕的亮度、色彩，让电脑、手机屏幕始终适合保持在适合阅读的状

分类标签 iOS9安卓抄袭

12-06 04:23

微软新一代语音合成模型NaturalSpeech2：零样本语音合成的跨越式发展

背景介绍近期微软推出了语音合成模型NaturalSpeech2，只需几秒提示语音即可定制语音和歌声，实现了零样本语音合成的跨越式发展。在TTS领域，微软亚洲研究院机器学习组和微软Azure语音团队早已深耕多年，并在近期推出了语音合成模型NaturalSpeech2，只需几秒提示语音即可定制语音和歌声

分类标签微软语音合成NaturalSpeech2

12-06 04:22

大模型在智能汽车中的应用趋势

近年来，大模型在智能汽车中的应用越来越广泛，越来越多的车企通过自研或合作的方式上车大模型。大模型将对汽车的智能化进行多方面赋能，包括增强语音交互、助力自动驾驶、提高内容生成等。目前，大模型在智能汽车中的应用仍存在多模态数据融合、云端算力需求大、车端部署、以及安全性和一致性等问题。随着模型的优化和技术

分类标签大模型智能汽车自动驾驶

12-06 04:21

华为推出语音助手Celia，可通过HeyCelia唤醒Siri

华为推出语音助手Celia，可通过HeyCelia唤醒Siri3月27日消息，在开通Siri的iPhone上喊出华为P40系列发布会上语音命令HeyCelia（西莉亚，[ˈsiːlɪə]），可以唤醒Siri让人意外，但这不是个例，不少网友反馈，IT之家也尝试了一番，发现通过HeyCelia语言能够近

分类标签华为语音助手Celia

12-06 04:20

自然语言界面：开启人机交互的全新篇章

自然语言界面：开启人机交互的全新篇章随着人工智能技术的发展和普及，自然语言界面逐渐成为了人机交互的重要方式之一。自然语言界面指的是通过自然语言进行交互的界面，即人们可以使用自然语言（如中文、英文等）与计算机进行交互，而不需要通过鼠标、键盘等输入设备。自然语言界面的应用范围非常广泛，包括语音识别、智能

分类标签自然语言界面人机交互用户体验设计

12-04 08:00

2步打通ModelArts和Astro实现AI应用落地

引言随着GPT火爆全球，人工智能（AI）逐渐成为当今最具创新性和前景的技术之一，它可以为各行各业带来巨大的价值和变革。然而，AI应用的开发和部署并不是一件容易的事情，它需要涉及数据处理、算法开发、模型训练、应用构建、部署管理等多个环节，而且需要有专业的技术人员和复杂的工具链。对于很多企业来说，这是一

分类标签 ModelArtsAstroAI应用机器学习深度学习低代码开发平台

11-28 02:10

ChatGPT及其应用

ChatGPT及其应用今年初，一种名为ChatGPT的智能对话机器人模型开始了全球范围内的人类智能热潮，不知道大家听说过没有呢？简单来了解一下，这个模型是由OpenAI公司推出的，采集并利用了深度学习捕捞练习模型来真实对话，具有自然性和流畅性。在未来，ChatGPT这种基于大规模自然语言处理技术的人

分类标签 ChatGPT智能对话机器人人工智能

11-28 02:09

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway