AI大模型的发展历程及应用场景

新知榜官方账号

2023-07-06 10:52:31

AI大模型的发展历程

AI大模型是“大数据+大算力+强算法”结合的产物,凝聚了大数据内在精华的“隐式知识库”。AI大模型成为人工智能迈向通用智能的里程碑技术,其发展历程经历了三个阶段:萌芽期、沉淀期和爆发期。

萌芽期(1950-2005)

萌芽期以传统神经网络模型为代表,阶段内机器学习方法由基于小规模专家知识逐步发展为基于机器学习,卷积神经网络的雏形CNN诞生,为自然语言生成、计算机视觉等领域的深入研究奠定了基础。

沉淀期(2006-2019)

沉淀期以Transformer为代表的全新神经网络模型为基础,自然语言处理模型Word2Vec诞生,GAN诞生,Google提出了基于自注意力机制的神经网络结构——Transformer架构,奠定了大模型预训练算法架构的基础,预训练大模型成为自然语言处理领域的主流。

爆发期(2020-至今)

爆发期以GPT为代表的预训练大模型阶段,模型参数规模达到了1750亿,更多策略如基于人类反馈的强化学习、代码预训练、指令微调等开始出现,被用于进一步提高推理能力和任务泛化。在迅猛发展期,大数据、大算力和大算法完美结合,大幅提升了大模型的预训练和生成能力以及多模态多场景应用能力。

AI大模型的应用场景

AI大模型可分为自然语言处理大模型、CV大模型、科学计算大模型等。大模型可分为通用大模型和行业大模型两种。通用大模型是具有强大泛化能力,可在不进行微调或少量微调的情况下完成多场景任务,ChatGPT、华为的盘古都是通用大模型。行业大模型则是利用行业知识对大模型进行微调,以满足不同领域的需求,如金融领域的BloombergGPT、航天-百度文心等。

挑战与展望

当前大模型面临评估验证、伦理道德、安全隐患和发展趋势等挑战。未来大模型的发展将与知识、可解释性、学习理论等方面相结合,呈现出全面发力、多点开花的新格局。

本页网址:https://www.xinzhibang.net/article_detail-6334.html

寻求报道,请 点击这里 微信扫码咨询

关键词

AI大模型 预训练 大规模数据集

分享至微信: 微信扫码阅读

相关工具

相关文章