新知榜官方账号
2023-07-04 06:48:16
近日,开源语言模型OpenLLM宣称在VicunaGPT-4评估中超越了ChatGPT,但是官方回应称该评估方式存在偏差,开源模型与GPT-3.5仍然有差距。
OpenLLM是一系列在极小、多样且高质量的多轮对话数据集上进行微调的开源语言模型。最新更新的模型OpenChat在VicunaGPT-4评估中达到ChatGPT分数的105.7%,OpenChat-8192扩展上下文长度为8192,在VicunaGPT-4评估中达到ChatGPT分数的106.6%。
但是官方回应称,Vicuna的测试基准已被弃用,现在使用的是更高级的MT-bench基准。在MT-bench上,OpenChat性能表现与wizardlm-13b相似。也就是说,开源模型与GPT-3.5仍然有差距。
机器之心报道之前也对开源模型的性能进行了评估,评估结果显示,最佳模型的平均性能达到ChatGPT的83%、GPT-4的68%,需要进一步构建更好的基础模型和指令调优数据以缩小差距。
相关工具
相关文章
相关快讯
推荐
用Deepseek写AI绘图提示词,像呼吸一样简单!
2025-02-19 16:12
你以为AI绘画是黑科技?其实早成了“路边摊生意”!
2025-02-19 10:15
Flux爆火,全网最全面最详细的Flux使用教程!
2025-02-18 14:19
用AI如何创作音乐,实战教学来啦!
2025-02-17 17:23
MidJourney让你秒变绘画大神,从零开始画哪吒!
2025-02-17 14:56
AI应用新境界:让人工智能成为你的得力助手
2025-02-14 15:45
AI短片革命:当创作遇上智能,人人都能成为导演
2025-02-14 14:53
AI狂潮下的人类职场:是失业危机还是进化契机?
2025-02-13 16:53
开启影视创作新纪元,效率提升 10 倍的神器来了!
2025-02-13 15:11
深度解析DeepSeek:当AI技术照进创作产业的未来
2025-02-12 17:16