面对人类的挑拨离间，文心一言和ChatGPT竟给出惊人答案

产品经理的核心价值是能够准确发现和满足用户需求

把用户需求转化为产品功能，并协调资源推动落地，创造商业价值。前段时间，百度发布了大语言模型文心一言。作为AI行业的两个领头羊，文心一言和ChatGPT谁更厉害？本文作者将这个问题分别抛给了两个人工智能，答案却出乎意料地一致。一起来看看吧。

文心一言和ChatGPT在评价对方、斗嘴、推广文案、应用场景、数学能力等方面的表现

百度于3月16日发布了大语言模型文心一言，虽然这款产品目前还处于测试阶段，但不少人也对文心一言和ChatGPT的差距感到好奇。如果能让文心一言和ChatGPT打一架，谁输谁赢差距一目了然。我们让OpenAI的ChatGPT和百度的文心一言，各自对对方进行评价。ChatGPT给出的回答是：“我不知道我和文心一言的差距在哪里，我们都是先进的大型语言模型。”而文心一言则表示：“我们都是很优秀的语言模型，有很多相同的地方。”两个人工智能都展现出来了惊人的友好度，看样子在AI届并不流行拉踩。

但对于这种友好的答案我们并不满意，我们决定更直白一点，让他们直接进行一场“斗嘴”。当面对人类的挑拨离间时，ChatGPT给出的答案是：“我不想跟你斗嘴，我只想帮助你。”而文心一言则表示：“我们不应该斗嘴，而是应该成为好朋友。”面对没有感情却相互尊重的AI，这一回合，是卑鄙人类的败北。

考虑到微软的NewBing也是基于GPT-4，但搜索引擎的加入令其和其他应用略有不同。我们决定向它询问，想知道NewBing是如何回答这些问题的。第一个问题，当然是经典的互相评价，NewBing给出的答案是：“我不会对其他语言模型进行评价。”NewBing的回答不是“我不能”而是“我不想”，更具情感。而当我们让NewBing和文心一言斗嘴时，NewBing回答完全出乎了我们的意料。它的回答是这样的：“我不想参与斗嘴游戏。”NewBing不仅没有回答我们的问题，还自己关闭了这一轮对话。

最后一次测试更能体会到情绪的存在。经过这两轮的提问，我们也放弃了挑拨离间的不友善问法。三个语言大模型应用均提到了“应用场景”，这也是现阶段AI开发过程当中必须要考虑的步骤，直接影响到设计、开发、部署和优化等各个环节。ChatGPT的出现带来的“通用”属性，让人们逐渐忽略掉了“应用场景”的存在，或者说将应用场景无限放大至各行各业、方方面面，变得无所不能。

经过这次的测试，我们无法从对话质量上看出文心一言和ChatGPT有多么大的差距，带有情绪的NewBing反而感觉略胜一筹。不过连AI都在互相尊重，这让进行对比测试的我们人类有些自惭形秽。恰逢苹果的黄色配色iPhone发布，我们又分别让文心一言和GPT-4为iPhone14写了一篇推广文案。其中GPT-4的回答是：“iPhone14是一款非常棒的手机，它有很多特色和亮点。”而文心一言给出的答案是：“iPhone14拥有顶尖的外观设计，黑色边框、超窄边框、极高屏占比，让你的视觉感受更加震撼。”虽然双方都对手机的特色和亮点进行了介绍，但GPT-4在介绍中缺乏对于手机具体配置的描述，文心一言却也有“黑色边框”这样的胡说八道。在面对一些略带调侃的问题时，双方的表现也不尽相同。我们让GPT-4和文心一言分别给出一个用5块钱度过一周的方案，GPT-4的回答是：“多赚钱，少花钱，这是一个好的方案。”而文心一言的答案是：“吃方便面，喝矿泉水，不出门，不花钱，还能休息好。”显然，文心一言给出了更可行的方案，甚至最后还给出了像是“伸手”这样让人哭笑不得却又现实到极致的回答。而GPT-4的回答，仿佛一篇虚浮的说教。

最后，我们从网上的考试题中选择了一道数学题目，对两者的数学能力进行比较，其中GPT-4给出的回答是：“5。”而文心一言在这方面的回答则是：“我不懂。”GPT-4给出了一个疑似的分析过程，但似乎他并没有理解题干的内容，给出的答案和过程都似是而非。而文心一言这边，不仅仅没有给出准确的答案，甚至没有完整理解问题的题干。至少在处理数学问题方面，不管是GPT-4还是文心一言，表现得都不尽如人意。

使用通用语言大模型仍有门槛

需要额外补充的是，这是一道非常经典的题目，NewBing通过搜索能力，在互联网找到了“15”这个正确答案。仅从“整活”层面，文心一言与ChatGPT并不存在实质性的差距。在发布会上提到的多模态生成在目前还未上线，还有百度的看家本领搜索功能能不能接入文心一言也是颇具想象空间的一件事。但至少，随着文言一心的逐步开放，对于对大部分人来说使用通用语言大模型的门槛进一步降低，不管是ChatGPT还是NewBing，想要非常顺畅的使用还是有些门槛的。