新知榜官方账号
2023-08-22 11:20:28
很多NLP应用程序需要为各种任务手动进行大量数据注释,特别是训练分类器或评估无监督模型的性能。根据规模和复杂程度,这些任务可能由众包工作者在MTurk等平台上以及训练有素的标注人(如研究助理)执行。然而,AI的进化使得淘汰掉的第一批人,就是帮AI训练的人。
来自苏黎世大学的研究者证明了ChatGPT在多项注释任务(包括相关性、立场、主题和框架检测)上优于众包工作平台和人类工作助理。此外,ChatGPT的每条注释成本不到0.003美元,大约比MTurk便宜20倍。这些结果显示了大型语言模型在大幅提高文本分类效率方面的潜力。
研究人员使用了2382条推文样本,并将任务作为零样本分类提交给ChatGPT和MTurk众包工作者,然后根据两个基准评估了ChatGPT的性能。结果发现,在五分之四的任务上,ChatGPT的零样本准确率高于MTurk。对于所有任务,ChatGPT的编码器协议都超过了MTurk和训练有素的注释者。此外在成本上,ChatGPT比MTurk便宜得多:五个分类任务在ChatGPT(25264个注释)上的成本约为68美元,在MTurk(12632个注释)上的成本约为657美元。这么一算,ChatGPT的每条注释成本约为0.003美元,即三分之一美分——比MTurk便宜约20倍,而且质量更高。
这些结果表明,使用大型语言模型进行文本分类可以大幅提高效率,并且可以降低成本。研究人员表示,虽然需要进一步研究以更好地了解ChatGPT和其他LLM如何在更广泛的环境中发挥作用,但这些结果表明它们有可能改变研究人员进行数据注释的方式,并破坏MTurk等平台的部分业务模型。
微信扫码咨询
相关工具
相关文章
推荐
阿里Accio中文版上线!一键搞定复杂采购
2025-08-19 09:13
视频“用嘴编辑”的时代来了,但钱包顶得住吗?
2025-08-15 17:59
智谱新模型GLM-4.5V全面开源,玩家们有福啦!
2025-08-12 17:56
扎心文案+AI插画=爆款!揭秘8万赞视频的制作全流程
2025-08-12 10:08
GPT-5没你想的那么好,附实测体验~
2025-08-11 11:07
一站式搞定AI绘图+视频,AI短片效率飙升的秘密在这儿!
2025-08-08 09:26
打工人新神器!10款国产AI,让你告别996!
2025-08-08 09:24
豆包视觉推理深度体验,AI也能“边看边想”了!
2025-08-08 09:19
300美元的AI男友来了!马斯克的情感生意从女友做到男友
2025-08-01 17:56
Agent智能体:2025年企业新员工,月薪仅需一度电?
2025-07-30 17:49