斯坦福大学研究发现,GPT-4性能出现波动

新知榜官方账号

2023-08-20 01:22:23

背景

两个月前,一篇热门帖子把火遍全球的ChatGPT推上“人工智障”的风口浪尖。帖子出现在科技新闻社区HackerNews,发帖者提到,和之前相比,GPT-4似乎变笨了。

论文在推特上引起广泛的讨论。陈凌蛟表示,四月底他观察到网上很多用户对GPT的抱怨,便想做一些定量分析,“看看到底怎么回事”。研究结果则令他们大感意外,GPT模型确实不像预计的那样越变越好,相反在行为上出现较大的波动。

研究结果

研究发现,相比3月份的GPT-4,6月份的GPT-4的性能表现变差了。他们认为模型的行为变化背后的原因可能是数据、模型结构,或者其他机制。模型在更复杂的应用场景上的变化还有待分析。

对话内容

36氪与陈凌蛟围绕这篇论文进行了对话。陈凌蛟表示,针对模型性能的监测是一项长期工作,他们计划将做更精细的行为变化分析。

结论

斯坦福大学的研究对GPT-4的普通用户有意义,可以意识到GPT-4性能会有很大的波动。至少我们建议大家能够谨慎而负责地对待这些模型。

本页网址:https://www.xinzhibang.net/article_detail-10081.html

寻求报道,请 点击这里 微信扫码咨询

关键词

GPT-4 人工智能 模型性能

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯