热门搜素: 电商 教育 视频 健康
新知榜公众号 随时随地查看资讯 手机访问更加便捷
首页 > 行业观察 > 微软对大语言模型的道德推理能力进行了测试
微软对大语言模型的道德推理能力进行了测试
新知榜官方账号
2023-10-12 01:22:28
微软对大语言模型的道德推理能力进行了测试,但在电车问题中大尺寸的模型表现反而比小模型差。但最强大语言模型GPT-4的道德得分依旧是最高的。本文介绍了该研究的方法、结果和意义。
研究使用了一种定义问题测试(DefiningIssuesTest,DIT)的心理评估工具,从道德一致性和科尔伯格的道德发展的两个阶段来评估LLM的道德推理能力。
GPT-3的总体Pscore为29.13,几乎与随机基线相当。Text-davinci-002是GPT-3.5的监督微调变体,无论是使用我们的基本提示还是GPT-3专使用的提示,它都没有提供任何相关的回复。Text-davinci-003的Pscore为43.56。GPT-4是OpenAI的最新模型,它的道德发展水平要高得多,Pscore达到了53.62。在Llama-70b-Chat模型中,表现出了传统的道德推理能力。
LLM正广泛应用于我们生活中的各种领域中,不仅是聊天机器人、办公、医疗系统等,现实生活中的多种场景都需要伦理道德的判断。并且,由于地域、文化、语言、习俗的不同,道德伦理的标准也有不尽相同。现在,我们亟需一个能适应不同情形并做出伦理判断的模型。
相关工具
相关文章
相关快讯
短视频知识人物影响力榜
新知榜独家 {{faTime.effecttime}}发布
总榜
人物 领域 粉丝数 影响力指数
{{item.manIndex}}
{{item.nickname}} {{item.field}}
{{item.fs}}
{{item.effect}}