GPT-4性能下降?研究显示存在波动,但不一定意味着能力下降

新知榜官方账号

2023-07-24 22:02:25

最近出现了一些关于GPT-4性能下降的报道,但研究表明存在波动,但不一定意味着能力下降。GPT-3.5和GPT-4模型经历了今年3到6月的一系列代码生成和其他任务之后,性能表现似乎越来越差。斯坦福大学和加州大学伯克利分校的学者们测试了模型在解决数学问题、回答不当问题、生成代码和执行视觉推理方面的能力。他们发现在短短三个月时间中,GPT-3.5和GPT-4的性能出现了剧烈波动。其中两项任务的性能下降:数学问题和代码生成。

虽然这些波动存在,但并不一定意味着GPT-4的能力下降。LLM定期进行的微调可能会产生意想不到的影响,包括某些任务的行为发生巨大变化。OpenAI表示他们将根据开发人员的反馈,对OpenAIAPI中的gpt-3.5-turbo-0301和gpt-4-0314模型的支持至少延长到2024年6月13日,同时也表示他们正在研究如何为开发人员提供更多的稳定性和可见性,让开发者了解他们如何发布和弃用模型。

该研究还提醒开发人员应定期测试模型行为,以防止调整和变更给依赖模型的应用程序和服务造成影响、进而引发一系列连锁反应。

本页网址:https://www.xinzhibang.net/article_detail-8593.html

寻求报道,请 点击这里 微信扫码咨询

关键词

GPT-4 OpenAI 性能下降 大语言模型 微调 可见性

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯