思维传播:让大模型像人类一样类比思考

新知榜官方账号

2023-10-11 01:24:30

背景

随着GPT-4、PaLM等巨型神经网络模型的出现,大模型已经展现出了惊人的少样本学习能力。然而,这些大模型在复杂、多步推理任务上却常常败给人类,且苦苦挣扎无果。

对此,中国科学院和耶鲁大学的研究人员提出了一种「思维传播」(ThoughtPropagation)新框架,能够通过「类比思维」增强大模型的推理。这一方法的核心便是,让大模型在解决输入的问题之前,探索与输入相关的「类似」问题。

问题

大模型在数学证明、战略规划和逻辑推理方面的缺陷,主要源于2个核心问题:无法重用先前经验中的见解和多步骤推理中的复合错误。

思维传播

「思维传播」可以探索与输入问题相关的类似问题,并从类似问题的解决方案中获得启发。具体来说,它包括三个阶段:提出类似问题、解决类似问题和汇总解决方案。

实验结果

研究人员在最短路径推理、创意写作和LLM智能体规划等任务中进行了评估,结果表明「思维传播」可以推广到各种不同的推理任务中,并在所有这些任务中表现出色。

结论

「思维传播」为大模型的推理缺陷提供了一个有趣的方法,这为在大语言模型中实现更像人类的推理指明了道路。

作者介绍

本文作者为中国科学院自动化研究所模式识别国家实重点验室和中国科学院大学的教授赫然和四年级博士生俞俊驰。

本页网址:https://www.xinzhibang.net/article_detail-16275.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章

相关快讯