AI大模型终于走到了数据争夺战

新知榜官方账号

2023-09-06 04:44:38

AI大模型终于走到了数据争夺战

随着AI大模型的发展，数据端的建设变得越来越重要。一项研究表明，未来高质量的语言数据存量将在2026年耗尽，低质量的语言数据和图像数据的存量也将在未来几十年内耗尽。因此，数据标注成为了一个抢手货。目前，一些初创公司正在进入这个新领域。数据标注行业涉及的领域也越来越广泛，特别是在自动驾驶、AIGC等领域内，数据标注需求量极大。

高质量数据成“抢手货”

随着全球新一轮AI热潮来临，大量训练数据已成为AI算法模型发展和演进的“燃料”。从GPT的实验发现，随着模型参数量的增加，模型性能均得到不同程度的提高。但值得注意的是，通过来自人类反馈的强化学习（RLHF）生成的InstructGPT模型，比100倍参数规模无监督的GPT-3模型效果更好，也说明了有监督的标注数据是大模型应用成功的关键之一。如果以上预测是正确的，那么毫无疑问数据将成为做模型继续做大的主要制约因素，AI的进展也会随着数据量的耗尽而放缓。

数据标注再次迎来爆发

AI大模型带来了大量需求，中国数据标注行业也迅速发展。有业内人士认为，预计今年10月国内会迎来一波大的类chatGPT大模型的数据需求，而且这是一个海量的需求，以目前国内几家头部数据标注公司来看，目前产能还不足以满足需求。随着数据量的不断增长和数据结构的不断变化，数据标注行业涉及的领域也越来越广泛，特别是在自动驾驶、AIGC等领域内，数据标注需求量极大。数据标注的生产过程主要包括四个环节：设计（训练数据集结构设计）、采集（获取原料数据）、加工（数据标注）及质检（各环节数据质量、加工质量检测）。当前，大部分数据标注任务仍然需要人工完成，而且各种数据类型和应用领域都需要相应领域的专业标注员来完成标注任务。

传统数据标注亟待升级

让ChatGPT更具有“人味”的关键——强人工反馈RLHF，带来的是另一种更高要求的数据标注需求。相关分析显示，在RLHF环节，模型首先在大数据集上进行预训练，再与专业的人工智能训练师进行交互，专业的标注人员会对ChatGPT生成的回答进行标注、评估和反馈，给出一个针对回答的分数或者标签。这些标注数据可以作为强化学习过程中的“奖励函数”来指导ChatGPT的参数调整，最终帮助模型进行强化学习和不断优化。让ChatGPT“更具人味儿”的精妙之处很可能就在于——它可以利用人工标注的反馈结果不断优化自身模型，实现更合乎人类思维逻辑的表达。但传统数据标注模式很难满足RLHF的需求。要跟上新一代AI浪潮，数据标注公司不仅需要在数据层面进行升级，人才的更新换代同样重要。目前的确已有标注公司开始在内部撰写《人员提升教程》，他们将在接下来重点培训标注人员对“升级后”的标注需求理解，以及回答方式的合规性等。但是，在专业壁垒非常高的医疗等领域，数据标注仍面临着人才困境。

本页网址：https://www.xinzhibang.net/article_detail-10933.html

寻求报道，请

关键词

分享至微信：

相关工具

Whispr

免费AI对话回应

Replika

AI对话陪伴工具

百度AI伙伴

百度最新上线的AI搜索对话工具

Poe

问答社区Quora推出的问答机器人工具

Bing新必应

微软推出的新版结合了ChatGPT功能的必应

商量SenseChat

商汤科技推出的类ChatGPT的人工智能大语言模型

产品周报276期

产品周报276期本期产品周报主要报道了Google发布AI大模型Gemini和腾讯NOW直播宣布停止运营的消息。这些消息对于产品经理和市场人员来说都具有重要意义，需要关注和深入了解。Google发布AI大模型Gemini近日，Google发布了一款名为Gemini的AI大模型，该模型在自然语言处理、

分类标签 GoogleAIGemini

12-09 08:07

回顾GPT大模型2023

回顾GPT大模型2023在2023年，GPT大模型成为了人工智能领域的明星。五大顶级公司都对2024年的AI产品发展进行了预测，其中连诗路AI产品备受关注。在市场上，AI产品的需求也越来越大。作为一名专业产品经理，我们需要关注市场需求并不断更新自己的产品。未来的AI产品将会越来越普及，我们需要不断地

分类标签 GPT大模型AI产品连诗路顶级公司市场

12-09 08:06

竞速AI大模型，飞书打得过钉钉吗？

竞速AI大模型，飞书打得过钉钉吗？2023年11月29日，DoNews发布评论《竞速AI大模型，飞书打得过钉钉吗？》。该文章探讨了飞书与钉钉在竞速AI大模型领域的竞争关系。作为国内两大主流企业通讯工具，飞书和钉钉一直以来都在追求更好的用户体验和更强大的功能。随着人工智能技术的不断发展，AI大模型已经

分类标签竞速AI大模型飞书钉钉

12-01 08:05

AI伴侣：当孤独遇到算法

AI伴侣：当孤独遇到算法在电影《她》中，主人公Theodore沉浸在与妻子离异后的郁闷期，后来在一次偶然机会中其认识了“Samantha”（人工智能系统）。很快，他们坠入爱河。随着甜蜜期的褪去，Samantha开始问自己：“这份爱是按照算法程序写好的吗?”而实际上，作为AI操作系统的Samantha

分类标签 AI伴侣虚拟伴侣聊天机器人

11-27 02:24

AI原生时代，大模型创业有“捷径”深渡Cross关注

AI原生时代，大模型创业有“捷径”深渡Cross关注近年来，随着人工智能技术的飞速发展，大模型成为了人们关注的热点。在AI原生时代，大模型创业成为了许多创业者的选择。然而，大模型创业面临着巨大的挑战，如何实现商业化应用成为了创业者们需要解决的重要问题。深渡Cross作为一家专注于大模型创业的公司，成

分类标签 AI原生时代大模型创业深渡Cross

11-16 08:03

谷歌人工智能聊天机器人LaMDA被指具有灵魂引争议

据《华尔街日报》6月13日消息，谷歌一位软件工程师表示，有“开放式对话黑科技”之称的谷歌人工智能聊天机器人LaMDA已经有了人一样的感知力，甚至具有了人的“灵魂”。随后，谷歌暂停了他的职务，并否认了他的说法。当事人称，因为违反公司的保密协议，现在他快被解雇了。LaMDA，为啥被叫做“黑科技”？LaM

分类标签谷歌人工智能聊天机器人LaMDA灵魂伦理问题

11-04 02:30

10款最佳聊天机器人工具

10款最佳聊天机器人工具本文介绍了10款最佳聊天机器人工具，它们能够帮助您跨社交媒体平台、不同站点和应用程序与客户互动和沟通。1. FlowXOFlowXO是一款自动化软件，用于构建聊天机器人，帮助您虚拟欢迎电子商务网站的新访问者、收集用户详细信息、回答简单的问题或链接到任何文章，并且允许您在实时聊

分类标签聊天机器人人工智能自动化软件

11-04 02:29

AI辅助编程初创公司Kite宣布停止开发

AI辅助编程初创公司Kite宣布停止开发当地时间11月16日，AI辅助编程初创公司Kite宣布将停止开发Kite，且不再支持Kite软件。从2014年至2021年，Kite创始人AdamSmith对公司这七年的失败原因进行了总结。失败原因第一，企业未能实现AI辅助编程的愿景。Smith认为进入市场早

分类标签 KiteAI辅助编程失败原因

10-20 10:14

头部企业AI大模型应用收集分析

头部企业AI大模型应用收集分析随着人工智能的不断发展和应用，越来越多的企业开始关注AI大模型的应用。本文将从产品经理和市场的角度，全面重写这篇文章，对头部企业AI大模型应用的收集和分析进行详细介绍。一、背景随着信息时代的到来，企业面临着海量数据的挑战。如何从这些数据中提取有用信息，已经成为企业发展的

分类标签企业AI大模型应用收集分析

10-20 06:02

AI引领RFM模型革命性突破

AI引领RFM模型革命性突破近年来，随着人工智能技术的快速发展，越来越多的企业开始将其应用于客户管理中。其中，AI在RFM模型中的应用，带来了革命性的突破，提高了客户管理的效率。什么是RFM模型？RFM模型是一种客户价值分析模型，通过对客户消费行为的分析，将客户分为不同的等级，以便企业更好地了解客户

分类标签 AIRFM模型客户管理策略

10-18 05:02

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway