实测阿里版GPT“通义千问”,实力玩家现身了!知危关注

新知榜官方账号

2023-07-04 17:40:30

简介

今天,阿里上线邀测了自己旗下的大模型,名字叫“通义千问”,据说是世界首个突破10万亿参数的AI大模型,实际效果如何呢?本文作者结合文心一言和ChatGPT,对通义千问的回答水平进行了对比分析,一起来看一下吧。

语义理解测试

我们进行了多个语义理解测试,结果显示通义千问和文心一言表现得比较好,而ChatGPT对刁钻的中文句子理解不太行。

逻辑推断测试

我们进行了多个逻辑推断测试,结果显示三家的水平旗鼓相当,通义千问似乎更严谨一点,某些时候能考虑到更多因素。

知识科技测试

我们进行了包含知识、科技类内容的问答能力测试,结果显示三家依然是旗鼓相当的对手,通义千问和ChatGPT似乎更细一点。

文学写作测试

我们进行了文学、写作类目上的能力测试,结果显示各家表现都尚可,文心一言的故事可以认为是最好,通义千问在偏报告文章方面稍强,ChatGPT则是比较均衡。

综合评价

通义千问的水平能基本与ChatGPT(3.5版本)持平或稍有一些瑕疵,与文心一言比则是有来有回。通义千问对于回答的生成似乎更倾向于理智、严谨、富有逻辑,并且尤其擅长科学类知识,在人文文学方面稍有一些短板。不过,它也有生成式对话AI偶尔说胡话、架空事实的通病,需要随着用户的测试而逐渐学习得以修正。综合来看,阿里的通义千问是AI大模型领域里又一个能打的实力玩家。

本页网址:https://www.xinzhibang.net/article_detail-5433.html

寻求报道,请 点击这里 微信扫码咨询

关键词

阿里 GPT 通义千问 AI 大模型 测试

分享至微信: 微信扫码阅读

相关文章