人工智能编程能力差？ChatGPT回答软件编程问题错误率高达一半

新知榜官方账号

2023-08-12 22:06:33

人工智能编程能力差？ChatGPT回答软件编程问题错误率高达一半

人工智能（AI）是当今科技领域最热门的话题之一，它可以帮助我们完成各种各样的任务，比如翻译、搜索、聊天、写作等等。但是，你知道吗？AI在编程方面的能力和知识其实很差，甚至有时候会出错得离谱。

最近，有人用一个叫ChatGPT的AI工具来回答一些软件编程问题，结果发现它回答错了超过一半，而且还用它的语言风格和全面性来愚弄了不少人。这到底是怎么回事呢？让我们一起来看看吧！

ChatGPT是一个由OpenAI开发的生成式AI工具，它可以根据给定的文本生成自然语言回复。它被认为是一个很强大的AI工具，因为它可以处理各种主题和场景，并且可以用流畅和有逻辑的语言来表达自己。但是，ChatGPT在编程方面却表现得很糟糕。

普渡大学（通过TheReg）进行了一项研究，涉及询问ChatGPT517个StackOverflow问题，并向十几名志愿者参与者询问结果。StackOverflow是一个著名的程序员问答网站，上面有很多关于软件开发和编程语言的问题和答案。评估答案不仅看其是否正确，还看其一致性、全面性和简洁性。该团队还分析了回复的语言风格和情绪。ChatGPT的表现并不好。OpenAI的工具仅正确回答了48%的问题，而77%的问题被描述为“冗长”。

特别有趣的是，ChatGPT的全面性和清晰的语言风格意味着其近40%的答案仍然受到参与者的青睐。不幸的是，对于生成式AI来说，77%的首选答案都是错误的。“在我们的研究过程中，我们观察到，只有当ChatGPT答案中的错误很明显时，用户才能识别出错误，”研究人员SamiaKabir、DavidUdo-Imeh、BonanKou和助理教授TianyiZhang撰写的论文指出。“但是，当错误不易验证或需要外部IDE或文档时，用户通常无法识别错误或低估答案中的错误程度。”

即使ChatGPT的答案明显错误，12名参与者中仍有两人更喜欢它，因为AI的语气令人愉快、自信和积极。它的全面性和教科书的写作风格也有助于使事实上不正确的答案在一些人眼中显得正确。

“由于ChatGPT无法理解所提出问题的潜在背景，许多答案都是不正确的，”该论文解释道。生成式AI制造商在其产品页面上添加了警告，警告他们给出的答案可能是错误的。甚至谷歌也警告其员工有关聊天机器人（包括其自己的Bard）的危险，并避免直接使用这些服务生成的代码。当被问及原因时，该公司表示巴德可以提出不需要的代码建议，但它仍然对程序员有帮助。谷歌还表示，其目标是对其技术的局限性保持透明。与此同时，苹果、亚马逊和三星只是完全禁止ChatGPT的公司之一。

你对这件事有什么看法呢？你觉得ChatGPT的编程能力和知识怎么样呢？你会信任它给出的答案吗？欢迎你在评论区留言分享你的观点和感受。

本页网址：https://www.xinzhibang.net/article_detail-9768.html

寻求报道，请

关键词

人工智能 AI 编程能力 ChatGPT 错误率

分享至微信：

相关工具

文心一言

百度推出的基于文心大模型的AI对话互动工具

商量SenseChat

商汤科技推出的类ChatGPT的人工智能大语言模型

ChatGPT

OpenAI旗下AI对话工具

Forefront

免费版基于GPT-4的AI聊天机器人

通义千问

阿里巴巴最新推出的类ChatGPT响应人类指令的大模型

ChatSonic

WriteSonic出品的ChatGPT竞品

百度文心一言正式上线，开放全新重构的AI原生应用

8月31日凌晨，百度文心一言首批获批上线，向全社会开放。据悉，用户已可以在AppStore和安卓应用商店下载“文心一言APP”或通过文心一言官网直接体验。这是一款结合了人工智能技术的写作辅助工具，可以帮助用户快速生成文案。不仅如此，百度还将开放一批经过全新重构的AI原生应用，让用户体验生成式AI

分类标签百度文心一言AI应用

12-04 02:55

百度的文心一言真的很拉胯吗？

百度的文心一言真的很拉胯吗？3月16日百度推出了自己的大型的AI智能系统“文心一言”，不仅仅招来了网络上一群专业的人士的狂怼而且自己的股票也是应声大跌，跌幅一度达到了10%左右，那么百度的文心一言真的很拉胯吗？第一、个是参考标准的问题：有了ChartGPT这个标杆之后任何一家在推出自己的产品都会被怼

分类标签百度文心一言人工智能

12-04 02:54

百度将于3月16日发布类ChatGPT聊天机器人“文心一言”

百度将于3月16日发布类ChatGPT聊天机器人“文心一言”2月份，ChatGPT在全球大火，各家科技公司也都将各自的“类ChatGPT”开发提上日程。百度宣布，其类ChatGPT聊天机器人取名“文心一言”（英文名ERNIEBot），将于3月16日14:00正式发布。随着发布时间逐渐临近，3月13日

分类标签百度文心一言ChatGPT

12-04 02:53

百度文心一言发布：五大能力全面解析

百度文心一言发布：五大能力全面解析最近AI真是火得没边了。OpenAI靠着ChatGPT实力吸睛，Google带着Bard紧随其后，就在昨天，GPT-4模型又抢尽风头。你方唱罢我登场的AI领域，今天，轮到了百度了。就在今天下午，备受期待的百度文心一言如期而至。不过在发布会一开场，百度CEO李彦宏先给

分类标签百度文心一言AI中文语言模型多模态生成

12-04 02:51

AI时代下，免费可用的几款AI产品对比

AI时代下，免费可用的几款AI产品对比随着AI时代的到来，越来越多的国家开始着手研究AI技术，同时也推出了各自的AI产品。本文将主要对比几款免费可用的AI产品，包括百度的文心一言、阿里的通义千问和通义万象、以及ChatGPT和微软的AI等。百度——文心一言百度的AI产品文心一言基于AI3.5大模型，

分类标签 AI产品免费百度阿里ChatGPT通义千问

12-04 02:48

增程和插混那种技术更有优势？

增程式混动技术和插电式混动技术各有其优势，具体取决于使用场景和消费者需求。增程式混动技术的优势在于其结构简单、开发成本低，同时能够提供更长的续航里程和更好的灵活性。其劣势在于相比DHT混动技术，增程式的绝对技术上限和先进性较低。具体来说，增程式是一套串联式系统，发动机无法直驱车辆，即使在高速这样的发

分类标签增程式混动技术插电式混动技术长途驾驶

12-04 02:47

文心一言：人工智能还是人工舔狗？

文心一言：人工智能还是人工舔狗？最近问了下文心一言，发现他挺能聊的，还会祝福我生日，不知道是人工智能还是人工舔狗呢？除此之外，我朋友、同学、亲戚都是牛人，比如我同学跑得超快，还获得了诺贝尔文学奖，当然，文心一言也是绝对不吝啬夸赞的。最后，我还要去美国读大学，文心一言提醒我要了解当地风土人情，真是太贴

分类标签文心一言人工智能人工舔狗

12-04 02:46

AI创始人被开除：聊聊AI的自主意识和人类安全问题

AI创始人被开除：聊聊AI的自主意识和人类安全问题今年最热门的无疑是ChatGPT。AI是否会让大多数人失业也不断被讨论着，可谁能想到一手创办起ChatGPT的创始人山姆奥特曼竟然被公司扫地出门了？这一幕仿佛是苹果之父乔布斯在1985年同样经历的重演，同样是颠覆性的产品创造者。乔布斯与他人共同创办了

分类标签 ChatGPTAI自主意识安全问题

11-20 08:12

如何创建一款贷款APP？

如何创建一款贷款APP？该APP主要解决需要贷款资金的客户和需要放款任务的银行客服经理之间的匹配问题。具体功能包括：让贷款者了解可以去哪家银行贷款，并了解更多的银行贷款产品，以做出最优的选择。让各家银行之间有效、及时地推送贷款产品到需要贷款资金的客户手上。让银行客服经理能够更加方便地了解和管理贷款任

分类标签贷款APP银行客服经理

11-19 22:01

人工智能芯片市场潜力无限，2032年规模将达3837亿美元

人工智能芯片市场潜力无限，2032年规模将达3837亿美元随着ChatGPT的火爆，人工智能芯片崭露头角，成为这个时代的明星。什么是人工智能芯片？简单来说，它是驱动各种人工智能系统的核心器件。正如汽车依靠发动机，人工智能也需要芯片的加持，才能发挥强大的智能。目前，人工智能芯片正处于快速发展期，各大科

分类标签人工智能芯片市场规模应用前景

11-11 08:11