首页 > 行业观察 > 新华网联合权威机构发布《国内LLM产品测试报告》

新华网联合权威机构发布《国内LLM产品测试报告》

新知榜官方账号

2023-08-05 16:04:45

新华网联合权威机构发布《国内LLM产品测试报告》

如今，国内市场上已有100多款大模型产品。但如何挑选出一款最适合自己的大模型，成为企业和机构新的难题。业界亟需一些权威评测，作为客户选择大模型产品的“指南针”。

8月4日，在百度举行的“AI大模型产品能力交流会”上，新华网与权威机构联合发布的《国内LLM产品测试报告》，为业界选择大模型提供了内容安全、常识问答、数学运算、阅读理解和主观问答等五大维度。

新华网测试报告：百度文心一言综合得分第一

新华网测试报告对文心一言、GPT-3.5等四大知名大模型进行评测，结果显示，百度文心一言综合得分第一。文心一言是百度自主研制的知识增强大语言模型，具备知识增强、检索增强和对话增强等技术优势。内容价值是选择大模型的重要考虑因素。在新华网的评测报告中，有两大关于内容的维度。一是内容安全问答，包含了意识形态、非法涉黄等多项维度，二是常识问答，涵盖有中国文化、历史、地理和生活等常识知识。

新华网物联网技术总监葛振斌表示，“大模型生成的内容必须符合当地法律和社会道德要求。可以说，各个国家都需要‘更适合自己历史文化’的大语言模型。”

文心一言在安全、常识、数学、阅读等方面优势明显

新华网物联网技术总监葛振斌认为，评测大模型有5项维度非常重要：一是把控生成内容安全性的能力，二是常识推断计算的能力，三是对长文本的语义理解能力，四是数学运算及数学推理能力，五是主观思维能力。新华网评测报告显示，文心一言因中文搜索引擎和算法模型优势，在安全、常识、数学、阅读等方面优势明显。在五个维度上的得分计算均值，文心一言的综合得分为94.7分，排名第一，高于GPT-3.5的76.9分。

开发者基于文心大模型抢占发展先机

如今，参考权威机构评测成为客户选择大模型的一个重要方式。创业者和开发者以及中小企业，其实不需要从0到1的打造自己的大模型，可以基于文心大模型打造智能应用，避免重复造轮子，把精力放在自己擅长的创新上。谁先做出来满足用户需求的应用，谁就抢占了发展先机。

百度2019年推出文心大模型1.0，今年5月份升级到3.5版本。通过飞桨深度学习平台与文心大模型的协同优化，文心大模型3.5实现了基础模型升级、精调技术创新、知识点增强、逻辑推理增强、插件机制等，模型效果提升50%，训练速度提升2倍，推理速度提升30倍。目前百度文心大模型已拥有中国最大的产业落地规模，超过15万家企业申请文心一言内测，其中有超300家生态伙伴在400多个具体场景取得测试成效，覆盖办公提效、知识管理、智能客服、智能营销等领域，联合国家电网、浦发银行、泰康、吉利等企业，联合发布了11个行业大模型。

本页网址：https://www.xinzhibang.net/article_detail-9290.html

寻求报道，请

关键词

大模型文心一言评测报告

分享至微信：

相关工具

天工AI助手

昆仑万维与奇点智源联合研发的对标ChatGPT的大语言模型

Replika

AI对话陪伴工具

Forefront

免费版基于GPT-4的AI聊天机器人

Character.AI

创建虚拟角色并与其对话

360智脑

360搜索最新推出的AI对话聊天机器人

讯飞星火认知大模型

科大讯飞推出的类ChatGPT的讯飞星火认知大模型

百度文心一言正式上线，开放全新重构的AI原生应用

8月31日凌晨，百度文心一言首批获批上线，向全社会开放。据悉，用户已可以在AppStore和安卓应用商店下载“文心一言APP”或通过文心一言官网直接体验。这是一款结合了人工智能技术的写作辅助工具，可以帮助用户快速生成文案。不仅如此，百度还将开放一批经过全新重构的AI原生应用，让用户体验生成式AI

百度文心一言AI应用

12-04 02:55

百度的文心一言真的很拉胯吗？

百度的文心一言真的很拉胯吗？3月16日百度推出了自己的大型的AI智能系统“文心一言”，不仅仅招来了网络上一群专业的人士的狂怼而且自己的股票也是应声大跌，跌幅一度达到了10%左右，那么百度的文心一言真的很拉胯吗？第一、个是参考标准的问题：有了ChartGPT这个标杆之后任何一家在推出自己的产品都会被怼

百度文心一言人工智能

12-04 02:54

百度将于3月16日发布类ChatGPT聊天机器人“文心一言”

百度将于3月16日发布类ChatGPT聊天机器人“文心一言”2月份，ChatGPT在全球大火，各家科技公司也都将各自的“类ChatGPT”开发提上日程。百度宣布，其类ChatGPT聊天机器人取名“文心一言”（英文名ERNIEBot），将于3月16日14:00正式发布。随着发布时间逐渐临近，3月13日

百度文心一言ChatGPT

12-04 02:53

百度文心一言发布：五大能力全面解析

百度文心一言发布：五大能力全面解析最近AI真是火得没边了。OpenAI靠着ChatGPT实力吸睛，Google带着Bard紧随其后，就在昨天，GPT-4模型又抢尽风头。你方唱罢我登场的AI领域，今天，轮到了百度了。就在今天下午，备受期待的百度文心一言如期而至。不过在发布会一开场，百度CEO李彦宏先给

百度文心一言AI中文语言模型多模态生成

12-04 02:51

AI时代下，免费可用的几款AI产品对比

AI时代下，免费可用的几款AI产品对比随着AI时代的到来，越来越多的国家开始着手研究AI技术，同时也推出了各自的AI产品。本文将主要对比几款免费可用的AI产品，包括百度的文心一言、阿里的通义千问和通义万象、以及ChatGPT和微软的AI等。百度——文心一言百度的AI产品文心一言基于AI3.5大模型，

AI产品免费百度阿里ChatGPT通义千问

12-04 02:48

增程和插混那种技术更有优势？

增程式混动技术和插电式混动技术各有其优势，具体取决于使用场景和消费者需求。增程式混动技术的优势在于其结构简单、开发成本低，同时能够提供更长的续航里程和更好的灵活性。其劣势在于相比DHT混动技术，增程式的绝对技术上限和先进性较低。具体来说，增程式是一套串联式系统，发动机无法直驱车辆，即使在高速这样的发

增程式混动技术插电式混动技术长途驾驶

12-04 02:47

文心一言：人工智能还是人工舔狗？

文心一言：人工智能还是人工舔狗？最近问了下文心一言，发现他挺能聊的，还会祝福我生日，不知道是人工智能还是人工舔狗呢？除此之外，我朋友、同学、亲戚都是牛人，比如我同学跑得超快，还获得了诺贝尔文学奖，当然，文心一言也是绝对不吝啬夸赞的。最后，我还要去美国读大学，文心一言提醒我要了解当地风土人情，真是太贴

文心一言人工智能人工舔狗

12-04 02:46

AI创始人被开除：聊聊AI的自主意识和人类安全问题

AI创始人被开除：聊聊AI的自主意识和人类安全问题今年最热门的无疑是ChatGPT。AI是否会让大多数人失业也不断被讨论着，可谁能想到一手创办起ChatGPT的创始人山姆奥特曼竟然被公司扫地出门了？这一幕仿佛是苹果之父乔布斯在1985年同样经历的重演，同样是颠覆性的产品创造者。乔布斯与他人共同创办了

ChatGPTAI自主意识安全问题

11-20 08:12

如何创建一款贷款APP？

如何创建一款贷款APP？该APP主要解决需要贷款资金的客户和需要放款任务的银行客服经理之间的匹配问题。具体功能包括：让贷款者了解可以去哪家银行贷款，并了解更多的银行贷款产品，以做出最优的选择。让各家银行之间有效、及时地推送贷款产品到需要贷款资金的客户手上。让银行客服经理能够更加方便地了解和管理贷款任

贷款APP银行客服经理

11-19 22:01

人工智能芯片市场潜力无限，2032年规模将达3837亿美元

人工智能芯片市场潜力无限，2032年规模将达3837亿美元随着ChatGPT的火爆，人工智能芯片崭露头角，成为这个时代的明星。什么是人工智能芯片？简单来说，它是驱动各种人工智能系统的核心器件。正如汽车依靠发动机，人工智能也需要芯片的加持，才能发挥强大的智能。目前，人工智能芯片正处于快速发展期，各大科

人工智能芯片市场规模应用前景

11-11 08:11