飞桨自动混合精度技术让你的训练速度飞起来

新知榜官方账号

2023-09-25 00:34:50

1. 什么是自动混合精度技术

自动混合精度是一种自动将半精度和单精度混合使用，从而加速模型训练的技术。其中单精度（FloatPrecision32，FP32）是计算机常用的一种数据类型。半精度（FloatPrecision16，FP16）是一种相对较新的浮点类型，在计算机中使用2字节（16位）存储，更适于在精度要求不高的场景中使用。在深度学习领域，使用Float16代替Float32来存储数据，可以训练更大更复杂的模型，使用更大的batchsize。同时，混合精度计算的需求应运而生，可以将训练过程中一些对精度损失不敏感且能使用TensorCore进行加速的运算使用半精度处理，最大限度的提升访存和计算效率。

2. 飞桨AMP技术的实现原理

飞桨AMP技术仅仅通过一行代码即可帮助用户将单精度训练的模型修改为自动混合精度训练。同时通过黑白名单和动态LossScaling来保证训练的稳定性，避免出现INF或者NAN问题。飞桨AMP可以充分发挥新一代NVIDIAGPU中TensorCore的计算性能优势，ResNet50、Transformer等模型的训练速度与单精度训练相比可以提升到1.5～2.9倍。AMP技术在提升访存和计算效率的同时，伴随的副作用是由于半精度数据类型的精度范围与转换前的单精度相比过窄，容易产生INF和NAN问题。为避免此类问题，AMP技术实现了自动调整LossScaling功能，即在AMP训练过程中，为避免精度下溢，每训练一定数量批次的数据，就将Loss放大指定倍数。如果Loss在放大过程中发生上溢，则可以再缩小一定倍数，确保整个训练过程中，梯度可以正常收敛。

3. AMP技术的使用方法

用户仅需要使用飞桨提供的AMP函数fluid.contrib.mixed_precision.decorate将原来的优化器SGDOptimizer进行封装，然后使用封装后的优化器更新参数梯度即可。同时，AMP技术实现了自动调整LossScaling功能，无需手动指定。在使用AMP训练过程中，系统会自动读取黑白名单，从而感知哪些算子需要被转换为半精度计算，不需要手动指定。对于某些特殊场景，如果开发者希望使用自定义的黑白名单，则可以使用AutoMixedPrecisionLists类设置。

4. AMP技术的性能优势

飞桨AMP技术在ResNet50、Transformer等模型上训练速度相对于FP32训练来说有非常大的优势，单卡加速比可达2.9倍，八卡加速比可达2.8倍。AMP技术在深度学习训练中可以大幅度提升训练速度和访存效率。

5. 多卡GPU训练的优化

在新发布的飞桨核心框架1.7版本上，AMP技术深度优化了多卡GPU训练。通过将梯度传输这个过程提到Cast操作之前，每个GPU卡在得到对应的半精度梯度后再执行Cast操作，将其转变为单精度类型，可以降低GPU多卡之间的梯度传输带宽，对减少带宽占用方面非常有效。

本页网址：https://www.xinzhibang.net/article_detail-13485.html

寻求报道，请

关键词

分享至微信：

相关工具

Pictory

AI视频制作工具

Colossyan

AI虚拟人出镜视频生成

Synthesys

AI虚拟人出镜讲解

Movio

AI真人出镜视频讲解

Runway

强大的AI视频制作工具，绿幕抠像、视频合成等

DeepBrain

AI口播视频生成工具

Gemini的展示是剪辑造假？我们亲测了一下，发现...

Gemini的展示是剪辑造假？我们亲测了一下，发现...最近Gemini的展示引起了一些疑问，有人认为其中有剪辑造假的成分。我们进行了调查和测试，发现一些问题。首先，我们发现在Gemini的展示视频中，有些镜头明显是经过剪辑处理的。这些镜头可能是为了突出产品的特点而加入的，但也可能会误导观众。其次，

分类标签 Gemini展示剪辑造假

12-10 08:00

阿里云通义听悟正式上线，成为国内首个开放公测的大模型应用产品

阿里云通义听悟正式上线，成为国内首个开放公测的大模型应用产品6月1日，阿里云宣布通义大模型进展，聚焦音视频内容的AI新品“通义听悟”正式上线，成为国内首个开放公测的大模型应用产品。阿里云方面透露，通义听悟接入了通义千问大模型的理解与摘要能力，可成为用户工作学习中的得力AI助手，帮助随时随地高效完成对

分类标签阿里云通义听悟大模型应用

11-30 22:13

AI技术被骗子利用，智能AI技术进行电信诈骗的案件被曝光

AI技术被骗子利用，智能AI技术进行电信诈骗的案件被曝光随着AI技术的普及，带来的副作用也日益显现。证据存证，真实不可篡改AI这一技术，能让视频中的人物变脸、变声。有人用它诈骗，有人将自家主播的脸换成明星的脸带货捞钱。只要你一不小心就会“入套”。或许很多人没有意识到问题的严重性，认为技术还没有成熟到

分类标签 AI技术骗子电信诈骗

11-19 16:20

Meta发布了一款突破性的语音生成AI模型Voicebox

Meta发布了一款突破性的语音生成AI模型VoiceboxMeta介绍了一种「突破性」的生成式语音系统，它可以合成六种语言的语音，执行噪声消除、内容编辑、风格转换和多样化样本生成。Voicebox是第一个没有经过专门针对语音生成的训练，却可以泛化到语音生成任务的模型。Voicebox可以创建多种样式

分类标签 Meta语音生成AI模型

10-11 18:12

极限元：AI虚拟主播、实时变声、说话人自适应等解决方案

AI虚拟主播解决方案极限元AI虚拟主播基于少量的音视频数据即可快速生成主播形象，输入文本就可以生成具备同步口型、丰富面部表情及各类型动作的AI合成主播播报的音视频，结合语音识别、语义理解、语音合成、虚拟形象驱动等AI核心技术，通过手机APP、大屏一体机等终端展现形式，实现用户与虚拟客服之间的“面对面

分类标签 AI虚拟主播实时变声说话人自适应

10-11 18:10

Meta推出通用性最高的语音生成AI工具Voicebox，Gannett引入AI协助撰写新闻，NYU研究人员通过ChatGPT设计芯片

Meta推出通用性最高的语音生成AI工具Voicebox18日（美国当地时间17日），Meta推出突破性文本转语音的AI工具Voicebox，可以合成六种语言的语音，执行降噪、内容编辑、转换音频风格等。Meta称其为目前通用性最高的语音生成AI，比相仿模型快20倍。根据Meta的说法，Voicebo

分类标签 MetaVoiceboxGannettAIChatGPTNYU

10-11 18:08

TAVMedia：全平台视频剪辑方案

背景这几年短视频行业的迅速发展，视频内容生产作为内容生态的重要一环，逐渐成为内容平台必备基础能力，像手Q、抖音、快手、视频号等各种内容或社交类产品，都需要音视频编辑能力。除短视频行业之外，AMS广告对于动态视频需求也愈发强烈，游戏行业对于战报视频也成为刚性需求，比如头部的王者战报、吃鸡战报等等。但是

分类标签短视频智影TAVMedia

10-04 22:22

腾讯智影AI智能成片技术的应用场景和未来发展前景

腾讯智影AI智能成片技术的技术原理腾讯智影AI智能成片技术是一种非常强大的智能化影像处理技术，它基于图像识别和深度学习算法，通过分析大量的影像数据，学习和模仿专业导演的创作过程。这项技术能理解影像的内容，识别出不同的场景、人物和动作等元素，并根据这些元素来自动进行剪辑和后期处理。具体来说，这个技术首

分类标签腾讯智影AI智能成片技术应用场景

10-04 22:20

Python语音识别程序

Python语音识别程序该程序使用Python的SpeechRecognition库和Pyaudio库实现语音识别和播放功能。程序首先创建一个Recognizer对象，并使用麦克风录制语音。然后使用recognize_google方法将语音转换为文本，并将结果打印出来。最后使用Pyaudio库播放录

分类标签 Python语音识别SpeechRecognition

10-03 07:06

录音回听：提高口语表达能力的有效方法

录音回听是提高口语表达能力的有效方法之一。通过录制自己的语音并回听，可以发现自己的不足之处并加以改进。以下是具体方法和注意事项：1. 记住一小部分录音选择30秒到1分钟的录音时间，可以是一段英语播客、一段小课堂讲解或一段TED演讲等。首先听一遍录音，然后默读文本并边听边跟读，最后尝试背诵整段录音。2

分类标签录音回听口语表达能力语音训练

10-03 07:04