火山翻译团队在WMT22中获得非洲小语种翻译任务第一的成绩

新知榜官方账号

2023-07-06 12:54:48

非洲语言的现状

非洲是世界上面积第二大的大洲，也是世界上第二个人口大洲，其大陆上存在2146种语言——约占世界语言总数的三分之一。广袤的面积、繁多的种族，还有宗教传播和殖民统治的影响，使其成为世界上语言最复杂的一个大陆。然而，随着英语、法语等语言在非洲的普及，这些承载着多样文化的两千多种语言正在逐渐无声消亡。在过去的几年里，低资源语种的机器翻译质量得到了很大提升，这得益于多语言机器翻译的跨语种知识共享、语料挖掘还有大语言模型的应用。然而还是有很多语言，特别是上述的非洲语言，进展并不顺利。去年的多语言机器翻译任务上，以爱尔兰语和威尔士语为代表的印欧语系获得了平均19.3BLEU的大幅提升，而以富拉尼语和伊博语为代表的非洲语种的平均提升只有3.5BLEU。究其原因，一是相比于其他语言，非洲语言鲜被重视；二是非洲语言种类繁多，大多数语言使用人数不到百万，其中有些甚至只以口语形式流传，这两者导致缺乏足够的非洲语言语料数据，非洲语种的机器翻译效果也难以提升。

字节跳动火山翻译的解决方案

字节跳动的火山翻译团队从几年前就开始深耕多语言机器翻译技术，旨在通过跨语言技术提升小语种的翻译能力，克服非洲语言等小语种语料数据缺乏的问题，并通过扩大单个模型的语种数提升服务稀有语种翻译请求的GPU利用率。在近两年的顶级自然语言处理的学术会议ACL、EMNLP上火山翻译发表多篇论文，包括嫁接预训练语言模型的使用，通过对齐技术扩充语料数量的方法mRASP，以及集成对比学习的mCOLT方法，利用子网络划分来避免小语种对大语种的干扰技术，以及为每个语种保留部分独有参数从而达到互不干扰，快速训练的adapter结构。

技术细节及实验结果

火山翻译团队自研的系统获得了WMT22中非洲小语种翻译任务全场最好成绩：平均spBLEU21.9，较第二名高出4.3个点(+24.4%)。火山翻译采用开放式系统，可以使用额外数据，其他系统采用受约束系统，只能使用主办方规定的数据，但参考以往的评测成绩，这一区别仍旧不能完全弥补BLEU上的差距。此外，火山翻译系统超越了同是开放系统的NLLB模型。火山翻译系统的提升来源于越来越大的大模型使用，通过集成预训练、数据增强等其他技术达到单一模型全面提升所有语种翻译质量的目的。在训练策略和模型选择上和NLLB以及历届的评测系统不同，火山翻译追求简洁的模型和通用的训练流程，放弃了更加复杂的优化技巧，比如集成学习，重排序等等，也没有使用NLLB中的课程学习(curriculumlearning),专家模型(MixofExperts)，taggedbacktranslation等精细的调优手段。

本页网址：https://www.xinzhibang.net/article_detail-6385.html

寻求报道，请

关键词

非洲语言小语种翻译多语言机器翻译火山翻译 WMT22 BLEU

分享至微信：

相关工具

Jenni

AI研究文章和博客写作辅助工具

万彩AI

全能型AI内容和文案创作助手

QuillBot

AI英/德语写作润色和改进工具

度加创作工具

百度官方出品的AIGC创作平台

Rytr

AI内容生成和写作助手

DeepL Write

DeepL推出的AI驱动的写作助手

火山写作：一款实用的写作工具

火山写作与其他写作工具相比火山写作可以让用户通过手机，随时随地进行写作，具有更加灵活和自由的特点。火山写作还提供了许多模板和素材，帮助用户更快地开始写作。同时，火山写作还可以根据用户的需求和习惯进行个性化定制，这是许多其他写作工具所没有的。除此之外，火山写作还有一个协作功能，可以实现更加高效的团队写

分类标签火山写作AI写作写作软件

12-08 22:18

如何利用火山写作快速搞定爆款文章

注册火山写作账号要使用火山写作进行文章创作，首先需要注册一个账号。注册后，你可以免费使用火山写作的各种功能，包括模板选择、改写句子、扩写文章、错误检查等。选择适合的写作模板火山写作提供了各种写作模板和示例，你可以按照自己的兴趣选择适合的模板。选择模板后，你可以根据模板内容进行创作，确保文章结构和内容

分类标签火山写作写作模板改写句子

12-08 22:17

火山写作：功能强大的AI写作助手

火山写作的优势随着人工智能技术的发展，各种写作助手层出不穷。火山写作便是由中国字节跳动公司研发出的一款AI写作助手，功能强大，集创作、润色、纠错、改写、翻译等多种功能于一身。以下是火山写作的优势：提升写作效率：火山写作能够在瞬间生成优质、原创的文章，并提供实时反馈和建议，免去繁琐的修改步骤，大大缩短

分类标签火山写作AI写作助手创作工具

12-08 22:16

火山写作：提升写作能力的神器

火山写作：提升写作能力的神器哈喽亲爱的！我又来啦！❤️没错就是我，今天来给大家带来一款人工智能写作超级神器火山写作！对，就是字节跳动旗下的火山AI写作，利用AI算法，站在玩家代入身份的立场上，可以通过这种方式来轻松提升写作能力，有没有觉得很神奇？相信我，你会喜欢的！对于写作困难的小伙伴，是不是常常觉

分类标签火山写作AI算法写作能力

12-08 22:10

火山写作：AI智能写作助您飞速成长！

火山写作：AI智能写作助您飞速成长！今日新鲜出炉！火爆全网的AI写作神器火山写作隆重登场，‍♀️可谓办公圣器啊！无需任何专业技能，一键搞定原创内容生成，轻松套用丰富的主题模板，AI智能写作助您飞速成长！对于上班族、研究员以及学生党而言，无疑是必备利器！从入门到成为写作达人，仅需轻触鼠标！火山写作，燃

分类标签 AI写作火山写作智能创作

12-08 22:09

火山写作——提升写作效率的超级神器

火山写作——提升写作效率的超级神器大家都知道，我们的写作主要围绕着日常的学习和工作，写作成了一个重要环节。今天就给大家分享一个写作超级神器，火山写作，它能够帮助我们提升写作效率，点燃创新思维，降低写作门槛，优化操作界面，并支持多语言写作和一键发布至头条号。火山写作适用于需要快速写作、提高写作技能的人

分类标签火山写作写作工具人工智能

12-08 22:08

火山写作——一款专注于提升写作技能的AI神器

火山写作——一款专注于提升写作技能的AI神器火山写作是一款通过深度学习模型模仿大活人的写作思路，提供全链路的写作帮助的AI写作工具。它支持在线使用和浏览器扩展，并能直接导入图片、视频、链接等素材，帮助你轻松创作独特韵味佳作。火山写作的优势火山写作兼容不少插件，支持在线使用和浏览器扩展，适合上班族、研

分类标签火山写作AI写作写作工具

12-08 22:07

火山写作：AI写作神器，提高写作效率和质量！

火山写作：AI写作神器，提高写作效率和质量！最近超级流行AI写作哦！大家在微博，小红书等社交平台都能刷到，今天我就来给大家种草一款超级好用的AI写作神器！火山写作，海量写作场景支持，丰富的写作模板库，AI纠偏和润色功能，高质量内容创作工具！无论是日常生活、职场汇报、学术写作，还是商务邮件，只要你想写

分类标签火山写作AI写作写作神器

12-08 22:06

火山AI写作试用体验

简介火山AI写作是一款人工智能文本生成工具，可以根据输入的主题自动生成文章。本文分享了作者的试用体验及功能介绍。功能介绍火山AI写作的主界面很简单，跟着新手引导流程走一遍很快就可以上手进行实操。根据输入的内容，火山AI写作可以生成文章，并提供段落优化、全文优化等功能选项。段落优化火山AI写作可以对段

分类标签火山AI写作人工智能文本生成

12-08 22:05

Grammarly：免费的英语写作神器

Grammarly：免费的英语写作神器Grammarly是一款免费的英语写作神器，使用人工智能技术帮助用户检查文章的拼写、语法、词法等方面的错误，并提供修改意见和例句。作为母语不是英语的同学们来说，英语写作真是太为难了。Grammarly就像一个语法老师，不断指点我们的语法错误。Grammarly的

分类标签 Grammarly英语写作人工智能

12-01 02:04