AContrastiveFrameworkforNeuralTextGeneration

新知榜官方账号

2023-07-06 17:00:33

智能写作助手「文涌」

近日,腾讯AILab研发的智能写作助手「文涌(Effidit)」开放试用,依靠AI技术辅助写作者拓展写作思路、丰富语言表达,提升写作和文本编辑的效率。该助手提供多维度文本补全、多样化文本润色两项核心功能,同时还具备例句推荐、文本纠错、云输入法等功能,构成完整的辅助写作体系。其中,多维度文本补全功能,经多位用户评测,在流利性、丰富性和相关性上,已经与人类水平不相上下,令人眼前一亮。

AContrastiveFrameworkforNeuralTextGeneration

本文将会详细介绍使「文涌」的文本补全效果实现突破的关键技术:AContrastiveFrameworkforNeuralTextGeneration。该工作针对开放式文本生成任务提出了一个新的训练策略(SimCTG)以及解码算法(contrastivesearch)。作者在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测。实验结果表明该方法显著提升了文本生成模型的效果,并在中文对话任务上达到了接近人类写作文本的流利性、丰富性和相关性。

SimCTG和contrastivesearch

SimCTG在传统语言模型训练的损失基础上添加了一项对比损失函数来校准token的表示空间,使同一句子中不同token的表示差异性尽量大,从而缓解各向异性的表示问题。contrastivesearch解码方法在解码阶段,通过使用“degenerationpenalty”来从候选token中选择最合适的token输出,从而避免了生成模型解码的degeneration问题。

实验结果

实验结果表明SimCTG+contrastivesearch的组合方法在各项指标上均取得了最优的性能。在人工评价中,SimCTG+contrastivesearch采样方法在相关性、流利性和信息丰富度上,均远超目前最好的方法nucleussampling,并且其流利度已经接近人类水平。

本页网址:https://www.xinzhibang.net/article_detail-6479.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章