ParaGen:火山翻译开源的Pytorch深度学习框架

新知榜官方账号

2023-07-07 04:52:27

简介

ParaGen是一个由火山翻译开源的Pytorch深度学习框架,其中包含了GLAT模型复现和WMT21的代码,支持文本生成等多种自然语言处理任务,并提供了13种可自定义模块,大大提高了二次开发的灵活性。

ParaGen的特点

  • ParaGen支持了多达13种可自定义模块,包括数据读入、数据预处理、数据采样、数据加载、网络模块、训练模型、推断模型、优化目标、搜索算法、优化器、数值规划器、训练算法和评价目标。
  • ParaGen采用微内核的设计,每个模块只提供一些通用基本的实现,彼此之间互相独立。
  • ParaGen支持可插拔的方式进行代码开发,允许用户脱离框架进行开发。

文本生成的重要性

文本生成是自然语言处理的一个重要研究方向,具有广泛的应用场景。比如文本摘要、机器翻译、文案生成等等。不同于一般的分类、标注等任务,文本生成不仅要考虑每个词的重要性,提高单词的预测准确性,也要兼顾词语之间的搭配,保持整个文本的流畅度。

ParaGen的应用场景

ParaGen支持多元化的自然语言处理任务,包括自回归翻译、多语言翻译、预训练模型、生成任务、抽取任务、分类任务等,可以应用于移动终端、嵌入式系统等多个领域。

结尾

ParaGen证明了同时兼顾速度和质量的可行性,为后续研究提供了可复现的实现。在应用层面,极大地满足了终端部署的低功耗快速响应的性能需求。在后续的开发中,ParaGen一方面会探索更多并行算法,比如条件随机场模型,进一步提高性能。另一方面也会开拓更多的部署环境,方便更多实际场景的应用开发。

本页网址:https://www.xinzhibang.net/article_detail-6638.html

寻求报道,请 点击这里 微信扫码咨询

关键词

ParaGen 文本生成 GLAT

分享至微信: 微信扫码阅读

相关工具

相关文章