字节跳动开源全流程加速训练引擎LightSeq，可提速3倍以上

新知榜官方账号

2023-07-08 17:06:31

字节跳动开源全流程加速训练引擎LightSeq，可提速3倍以上

6月28日，字节跳动火山翻译团队宣布推出LightSeq训练加速引擎，并向全球开发者开源。这是业界首款完整支持Transformer模型全流程加速的训练引擎，最快可提速3倍以上，帮助从业者大幅提升模型生产效率。

Transformer是自然语言处理、计算机视觉等AI技术领域最常用的基础模型，被广泛应用在机器翻译、文本生成、文本摘要、图像处理、时间序列预测等任务中。训练和推理则是AI技术的两个主要过程，相当于学习知识和解决问题。

LightSeq训练模型加速效果示例受到硬件资源限制，一些高校实验室和中小公司无法训练大型模型，降低批处理大小等措施又会导致训练时间成倍增加。如何利用有限的资源最快训练出模型，成为计算机科研工作者和开发者们普遍关注的问题。

据悉，LightSeq训练加速引擎能够支持Transformer的完整加速，从词嵌入层、编码层、解码层，到最后的损失函数层，业内首次实现了全流程支持。而且LightSeq的训练速度极快，相比主流的序列生成库，LightSeq最快只需要三分之一的时间就能完成训练。

火山翻译团队负责人介绍说，LightSeq训练加速引擎具有功能全面、简单易用的特点，并提供了丰富的二次开发工具。通过插入自定义层或修改几个命令行参数等方式，用户可以在各种流行训练库上轻松使用LightSeq。

字节跳动持续投入开源社区的建设，已开源了机器学习平台Klever、联邦学习平台Fedlearner、高性能分布式训练框架BytePS等重磅项目。2019年底，火山翻译团队开源了LightSeq推理加速引擎，此次开源LightSeq训练加速引擎，完全打通了Transformer模型从训练到推理部署的整个流程。

“开源是推动科技进步的重要力量，我们受益于开源，更需要为开源社区做出贡献”，上述负责人表示，字节跳动把LightSeq系列项目开源，与各界共享技术成果，希望能帮助广大科研人员节约时间成本，为学术界和产业界激发创造力提供有力支持。

本页网址：https://www.xinzhibang.net/article_detail-7054.html

寻求报道，请

关键词

分享至微信：

相关工具

360智脑

360搜索最新推出的AI对话聊天机器人

天工AI助手

昆仑万维与奇点智源联合研发的对标ChatGPT的大语言模型

ChatSonic

WriteSonic出品的ChatGPT竞品

Replika

AI对话陪伴工具

Open Assistant

免费开源的对话式AI，GitHub星标超3万

ChatGLM

开源的、支持中英双语的1300亿参数的对话语言模型

使用手机制作和演示幻灯片

使用PowerPointApp 步骤1：下载PowerPointApp在您的手机应用商店中搜索“PowerPoint”并下载安装应用程序。如果您已经有了Microsoft帐户，则可以直接登录。否则，您需要先创建一个Microsoft帐户。步骤2：创建幻灯片在PowerPointApp中选择“新建演

分类标签手机幻灯片制作演示PowerPointAppGoogleSlidesApp

12-07 02:21

谷歌实验性聊天机器人Bard的产品负责人透露Bard是其开发另一款能吸引20亿用户的产品的必经之路

谷歌实验性聊天机器人Bard的产品负责人杰克·克劳奇克透露，Bard是其开发另一款能吸引20亿用户的产品的必经之路。克劳奇克表示，Bard可以让消费者集思广益并获取信息，这为谷歌吸引更多用户的目标奠定了基础。谷歌的这一计划凸显了其母公司Alphabet在人工智能方面的雄心壮志，迄今为止，Alphab

分类标签谷歌Bard人工智能

12-04 06:23

Google的AI聊天机器人Bard新增图像和多语言支持，以抢占ChatGPT市场份额

AI聊天机器人市场竞争加剧，Google的Bard更新增添新功能近期数据显示，AI聊天机器人市场竞争愈加激烈，Google的Bard通过新增图像和多语言支持等新功能，努力抢占市场份额。Bard现在支持40多种语言，并在欧洲和巴西等地区提供服务。用户可以通过上传图像和文本来使用Bard生成输出，并且B

分类标签 AI聊天机器人Bard图像支持多语言支持

12-04 06:22

LLM时代，为什么Apple仍有底气自我颠覆，而Google不行？

LLM时代，为什么Apple仍有底气自我颠覆，而Google不行？随着LLM时代的到来，科技公司面临着前所未有的挑战。在这个时代，Apple仍然能够保持其自我颠覆的能力，而Google却表现不佳。那么，为什么Apple能够做到这一点呢？1. Apple的产品设计Apple一直以来都以其出色的产品设计

分类标签 LLM时代Apple自我颠覆

11-30 08:02

谷歌通过Bard加强人工智能合作回应

谷歌通过Bard加强人工智能合作回应据外媒报道，Bard的产品负责人JackKrawczyk在接受采访时表示，Bard可以让消费者在新的人工智能的帮助下集思广益并获取信息，它正在为谷歌吸引更多客户奠定基础。其中一个机会是，该公司计划通过Bard的合作回应来激活其定时器设置、命令执行谷歌助手。Kraw

分类标签 Bard人工智能谷歌助手

11-26 02:20

谷歌升级机器人Bard，让用户轻松获取YouTube视频内容

谷歌升级机器人Bard，让用户轻松获取YouTube视频内容近日，谷歌宣布对其聊天机器人Bard进行了升级，使其能够快速地理解YouTube视频内容。Bard目前可以从视频资源库中提炼出有用信息以达到迅速回答用户提问的效果，帮助用户更深入透彻地了解YouTube影片内容。谷歌表示还在开发YouTub

分类标签谷歌Bard机器人YouTube视频内容用户需求

11-26 02:19

Google的BardAI聊天机器人现在可以回答与YouTube视频内容相关的具体问题

Google宣布其BardAI聊天机器人现在可以回答与YouTube视频内容相关的具体问题。尽管Bard在去年9月推出YouTube扩展功能时已具备分析YouTube视频的能力，但现在，聊天机器人可以为您提供有关视频内容的具体查询答案。公司在Bard更新页面上写道：「我们正在迈出Bard理解YouT

分类标签 GoogleBardAI聊天机器人YouTube视频

11-26 02:18

谷歌的BardAI聊天机器人现在可以回答关于YouTube视频的问题

谷歌的BardAI聊天机器人现在可以回答关于YouTube视频的问题谷歌的BardAI聊天机器人现在可以回答关于YouTube视频的问题。Bard通过扩展YouTubeExtension的功能，不仅可以找到特定视频，还可以回答与视频内容相关的具体问题，提供更深入的视频交流体验。在此次更新之前，Bar

分类标签 BardAI聊天机器人YouTube视频

11-24 10:05

Google人工智能聊天机器人Bard的YouTube整合功能得到升级

Google的人工智能聊天机器人巴德（Bard）在经历了乏善可陈的发布之后，已经逐渐变得越来越有用。现在，该机器人的YouTube整合功能得到了方便的升级，这样它就可以分析单个视频，为观众提供特定的信息--比如关键点或食谱成分--而无需按下播放键。这可能是一个非常有用的工具，但也可能让创作者更加担心

分类标签 Google人工智能聊天机器人

11-24 10:04

Bard聊天机器人：观众消化视频的利器，创作者的噩梦

Bard聊天机器人：观众消化视频的利器，创作者的噩梦在短视频逐渐占据上风的视频领域，另一大威胁正在慢慢靠近。“三分钟看完X电影”的短视频up主与“一分钟总结X电影”的人工智能即将进入正面交锋。更让up主们为难的是，他们很难回答到每一个观众的问题，但AI却没有这个烦恼。谷歌的Bard聊天机器人正是掀起

分类标签 Bard聊天机器人短视频人工智能

11-24 10:03

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway