新知榜官方账号
2023-07-24 22:02:25
最近出现了一些关于GPT-4性能下降的报道,但研究表明存在波动,但不一定意味着能力下降。GPT-3.5和GPT-4模型经历了今年3到6月的一系列代码生成和其他任务之后,性能表现似乎越来越差。斯坦福大学和加州大学伯克利分校的学者们测试了模型在解决数学问题、回答不当问题、生成代码和执行视觉推理方面的能力。他们发现在短短三个月时间中,GPT-3.5和GPT-4的性能出现了剧烈波动。其中两项任务的性能下降:数学问题和代码生成。
虽然这些波动存在,但并不一定意味着GPT-4的能力下降。LLM定期进行的微调可能会产生意想不到的影响,包括某些任务的行为发生巨大变化。OpenAI表示他们将根据开发人员的反馈,对OpenAIAPI中的gpt-3.5-turbo-0301和gpt-4-0314模型的支持至少延长到2024年6月13日,同时也表示他们正在研究如何为开发人员提供更多的稳定性和可见性,让开发者了解他们如何发布和弃用模型。
该研究还提醒开发人员应定期测试模型行为,以防止调整和变更给依赖模型的应用程序和服务造成影响、进而引发一系列连锁反应。
微信扫码咨询
相关工具
相关文章
相关快讯
推荐
阿里Accio中文版上线!一键搞定复杂采购
2025-08-19 09:13
视频“用嘴编辑”的时代来了,但钱包顶得住吗?
2025-08-15 17:59
智谱新模型GLM-4.5V全面开源,玩家们有福啦!
2025-08-12 17:56
扎心文案+AI插画=爆款!揭秘8万赞视频的制作全流程
2025-08-12 10:08
GPT-5没你想的那么好,附实测体验~
2025-08-11 11:07
一站式搞定AI绘图+视频,AI短片效率飙升的秘密在这儿!
2025-08-08 09:26
打工人新神器!10款国产AI,让你告别996!
2025-08-08 09:24
豆包视觉推理深度体验,AI也能“边看边想”了!
2025-08-08 09:19
300美元的AI男友来了!马斯克的情感生意从女友做到男友
2025-08-01 17:56
Agent智能体:2025年企业新员工,月薪仅需一度电?
2025-07-30 17:49