GLM-Dialog:基于抗噪预训练的知识对话生成

随着计算能力的增强和数据量的爆炸式增长，大模型已经成为一个不可忽视的力量。尽管ChatGPT展现出了强大的能力，但仍然有一种致命的缺陷，一本正经地说胡话，即“幻觉性”。ChatGLM干货技术分享系列活动“GLM-Dialog:基于抗噪预训练的知识对话生成”邀请了中国人民大学信息学院硕士生张晓康，他在报告中介绍了对于大语言模型幻觉性问题的一些个性见解与解决方案。

为了减少事实错误的发生，检索增强型语言模型得到了广泛关注。微软和谷歌等领先科技公司已经推出了各自的解决方案：微软的NewBing和谷歌的Bard。此外，YouChat和Perplexity.ai等其他产品在这一领域也引起了持续关注。但是在用户实际使用之后发现幻觉性的问题并没有在很大程度上被缓解。尽管检索增强在学术界被广泛研究，业界也在积极地往产品中融合，但该问题仍未被妥善解决。

针对此问题，GLM-Dialog提出了一种新方法，用于知识驱动对话生成的容忍噪声预训练方法。GLM-Dialogue的框架分为三个部分。第一部分是准备阶段，第二部分是两阶段的模型训练过程，第三部分是模型部署阶段。

准备阶段

语料库准备。选择一个比较充分的中文对话语料，并按照与用户聊天的实际场景的差异程度进行排序。训练语料库由来自不同来源的三部分组成，具有特殊目的，主要包括在线讨论平台中的社交媒体数据、由来自不同任务的开源基准数据集的对话形式转化而来的基准数据以及从自己部署的在线聊天机器人平台中收集的在线服务数据。

骨干准备。采用GLM10B，它从特殊标记完成输入句子，作为主干来设计查询生成和对话生成模型。GLM的主要优点有两个方面。首先，GLM分别实现了上下文和生成内容的双向注意机制和单向注意机制。灵活的注意机制允许双向注意对输入句子进行分类，自回归生成单向注意的句子。其次，GLM为各种模型尺度提供了一致的模型架构和开源检查点，允许在不同的计算设备上部署GLM-Dialog。

查询生成模块准备。查询生成模块将对话历史作为输入并生成适当的搜索查询，该查询被传递到在线搜索引擎以检索与对话相关的知识片段。为了准备查询生成模块，需要最大化与对话历史相关联的正确查询标注的概率。通过以这种方式训练模块，旨在增强其生成准确和适当的查询的能力，有效捕捉对话历史的要点。

模型训练过程

训练阶段1：持续对话预训练。尽管现成的LLM在生成流畅的对话回应方面表现出能力，但它们离构建对话模型还有一段距离，在口语化的对话和来自一般领域的Web爬取文本之间的语言风格之间存在差异。社交媒体数据作为一种特殊类型的网络爬取文本，既构成了GLM预训练数据的一部分，使得GLM易于适应新引入的训练数据；它的语言风格与自然对话也有许多相似特征，最终的训练语料库包括了特意收集的社交媒体数据。

训练阶段2：知识注入微调。为了构建基于知识的对话模型，采用上下文相关的背景知识片段来补充输入，以帮助模型生成更多信息响应。然而，直接利用补充的片段并构建基于知识的对话模型具有挑战性。因此，在训练的第二阶段主要完成以下事情：第一，构建具有外部知识和负面知识样本的对话训练实例；第二，设计具有辅助对抗性损失的训练目标，以鼓励模型共同生成响应并决定是否使用外部知识；第三，在迭代训练方案中引导训练实例，确保渐进、精细的学习过程。

模型部署阶段

GLM-Dialog由三个组件组成——查询生成模块、外部搜索引擎和响应生成模块。GLM-Dialog首先使用查询生成模块生成网络搜索查询，然后从网络搜索引擎构建外部知识池，只保留顶部搜索结果，最终的响应根据对话历史和补充知识生成。

隐式评估

张晓康介绍道，研究中还有另外一个发现：传统的对话评价指标对于本文的方法并不适用。因此，他们使用了一种新的隐式评估工具，允许人类在与机器人交互时隐式评估机器人，以评估其性能。如果机器人的响应更频繁地从其他机器人中选择，则认为机器人具有卓越的性能。通过为每一轮的所有机器人保持相同的对话历史，以便公平地比较它们的响应，可以有效地减少注释偏差。

消融实验

张晓康还对消融实验进行了一定的分析。他通过对响应生成进行消融研究，以确认注入外部知识和知识分类的影响。结果表明，在没有对基于知识的对话进行第二次训练的情况下，模型无法将注入的背景知识与对话历史相结合，导致所有指标显著下降；与在线收集的对话相比，基于知识的基准的数量非常有限。因此，在不向在线大规模服务数据注入知识的情况下，知识整合能力主要依赖于基于知识的基准，从而影响最终性能；即使将知识引入在线服务数据中，也有很多与响应无关的噪声知识，这可能会对响应产生不利影响。

总结

GLM-Dialog是一种基于抗噪预训练的知识对话生成方法，用于解决大模型幻觉性问题。该方法通过利用外部知识和嘈杂数据，提高了对话生成模型的性能，并通过隐式评估工具，有效地减少了注释偏差。GLM-Dialog的框架和训练过程都非常详细，消融实验的结果也非常有说服力。希望该技术能够激发更多基于知识的对话生成的研究。