PaddleLite：支持多种硬件平台的推理引擎

新知榜官方账号

2023-10-03 06:28:31

背景

在技术革新的浪潮下，智能硬件结合人工智能越来越广地进入了我们的生活。小到智能手机、手表，大到智能交通系统、工业自动检测平台等，无不渗透了人工智能的威力。此外，为人工智能深度学习定制的硬件近年来也有井喷之势。人工智能在多种服务平台，多种硬件下得到了越来越多的应用。这里的应用一般指的是深度学习模型在实际场景中的推理计算。针对多平台多硬件的场景，飞桨（PaddlePaddle）在今年8月份升级发布了PaddleLite推理引擎。它支持多种硬件、多种平台，还具备轻量化部署、高性能实现等重要特性。

特性&能力

PaddleLite支持如下特性：①多硬件平台支持；②轻量化部署；③高性能实现；④量化计算支持。

多硬件平台支持

目前支持如下7种硬件：ARMCPUV7、V8MaliGPU,AdrenoGPU,MetalGPUHuaweiNPUFPGA

轻量级部署

PaddleLite针对多硬件平台支持的问题，在架构上做了相应的设计：在具体架构上，由模型加载执行的顺序，严格拆分为分析和执行两个阶段。在体积敏感的场景下，PaddleLite可以选择轻量化部署方案，即可以只部署执行阶段，而复杂的分析优化则封装到了离线工具中。

高性能实现

PaddleLite的实现也是比较有优势的，比如在端侧推理非常主流的硬件ARMCPU上，MobileNetV1的性能如上，也是比较有优势的。

量化计算支持

基于PaddleSlim的量化训练出的模型，结合PaddleLite的Int8量化预测能力，可以得到很有竞争力的Int8量化性能。

架构设计

PaddleLite在架构的设计中，重点考虑了相对广泛的多硬件平台支持的能力。PaddleLite在Kernel层和MIR（图分析优化模块）均引入了适度的硬件支持，以支持硬件的针对优化，但通过通用的高层API来避免框架与具体硬件耦合。

应用案例

PaddleLite的使用有如下几个步骤：（1）获取PaddlePaddle模型用PaddlePaddle训练可选通过PaddleSlim做模型压缩或用X2Paddle转换TF等第三方模型（2）model_optimize_tool优化模型（3）编写预测代码，集成到服务中C++接口Java接口获取模型的方法以下几种：参考PaddlePaddle文档训练新的模型直接使用Paddle/models标准模型库中提供的模型X2Paddle模型转换工具转化第三方模型PaddleSlim模型压缩工具集二次压缩PaddlePaddle模型之后是使用模型压缩工具优化模型，使用方法可以参考如下命令，完整教程可以参考文档。

PaddleLite项目未来计划

PaddleLite未来计划如下，10月发布正式版，每个月一个版本高效迭代：框架能力和功能加强，如平台支持扩展，易用性完善，加密，显存优化等硬件支持范围持续扩大，新硬件评测支持能力提升整体性能优化，量化部署方案完善和模型覆盖范围增加文档持续优化：更多的demo，示例代码，可读性加强

本页网址：https://www.xinzhibang.net/article_detail-15112.html

寻求报道，请

关键词

PaddleLite 推理引擎多硬件平台轻量化部署量化计算

分享至微信：

相关工具

Krisp

AI噪音消除工具

Murf AI

AI文本转语音生成工具

Voicemod

AI变声工具

Veed AI Voice Generator

Veed推出的AI语音生成器

魔音工坊

短视频/有声书AI配音平台，由出门问问推出

Notta

AI在线将语音转换成文字

AI能够克隆任意人的声音了！MockingBird项目实现5秒内克隆任意中文语音

AI能够克隆任意人的声音了！MockingBird项目实现5秒内克隆任意中文语音 MockingBird项目能够在5秒内克隆任意中文语音，并用这一音色合成新的说话内容。它采用了说话人编码器、合成器和声码器三个元件组成的一种模型结构，实现了语音到文本再到语音的任务。该项目具有潜在的商业化场景，如为音视

分类标签 AI声音克隆MockingBird语音合成人工智能

12-10 16:19

视频AI配音平台：让语音与视频完美结合

视频AI配音平台：让语音与视频完美结合随着人工智能技术的不断发展，语音合成技术也越来越成熟。平板上文字转语音成为了一种非常方便的文本读取方式，特别是对于阅读障碍者来说，更是一种福音。而随着互联网视频的普及和流行，视频AI配音平台开始受到越来越多人的关注。视频AI配音平台是一种利用人工智能技术，将文本

分类标签视频AI配音平台语音合成技术文字转语音

12-10 16:18

智能家电远场语音技术发展趋势

智能家电远场语音技术发展趋势自从迈入智能时代以后，操控太复杂阻止了部分用户使用，如何更高效地进行人机交互，是厂商一直在解决的问题。不过，自从远场语音+人工智能交互技术发展起来以后，这个问题得到了缓解。远场语音是个相当实用的功能，用户不需遥控器，可直接对着家电讲话发出指令，使用难度大大降低。近两年，智

分类标签智能家电远场语音人机交互

12-10 16:16

三个真实的文字转语音软件推荐

晚上好，我是嘉悦。有时候我们需要将文字变成声音，但又想要有真实的感觉，那么今天我给大家推荐三个非常好用的文字转语音软件。第一个是熊猫宝库，它有着非常好的声音效果，听起来堪比真人。它支持70多国文字转语音，包括国语、粤语、英语等多种语言。第二个是貂蝉转写，它是一款集文字转语音、语音转文字、录音转文字为

分类标签文字转语音软件配音软件语音转文字

12-10 16:13

中国式浪漫

中国式浪漫中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊，相互倾诉着深情而含蓄的爱意。这种浪漫，不单单是一种场景的表达，更多的是一种文化的传承。东方之美，婉约而华贵的爱在现代社会中，中国式的浪漫依然得以体现。例如，现代新人在婚礼

分类标签中国式浪漫爱情传统文化

12-07 22:29

八款AI智能软件，提高工作效率，解决日常问题

八款AI智能软件，提高工作效率，解决日常问题大家好！我叫阿志，做自媒体已有三年之久也做出了理想的成绩今天我就分享我在用的八款AI智能软件，大部分是免费的哦：ChatGPT：一款聊天机器人，可以像人类一样聊天交流，还可以写邮件、写论文、写视频脚本，翻译、敲代码等，能够帮助我们提高工作效率，解决各种日常

分类标签 AI智能软件工作效率自媒体

12-06 22:25

生成式AI对音乐产业变革的影响

生成式AI对音乐产业变革的影响a16z发布了关于生成式AI对音乐产业变革的文章，揭示了这一技术在音乐创作领域的多样应用。虽然生成式AI在音乐方面的应用相较于文字和图像领域较少被人所知，但a16z的文章却深入分析了其在音乐创作的五个关键领域的影响。生成式AI降低了从想法到创作的门槛，使更多人能够创作音

分类标签生成式AI音乐产业创作流媒体版权免费音乐专业工具

12-04 04:03

类型转换名称和语法

类型转换一般性介绍C++中有4种类型转换操作符：static_cast、reinterpret_cast、dynamic_cast和const_cast。其中，static_cast用于静态类型转换，能替代C风格的强制类型转换，能进行基本类型的转换并进行一定的类型检查；reinterpret_cas

分类标签类型转换static_castreinterpret_castdynamic_castconst_cast

12-03 02:17

游戏世界中的奇妙之地

游戏世界中的奇妙之地在阅读此文之前，麻烦您点击一下“关注”，您的关注是作者持续创作的动力来源，致力于优质的原创内容，坚持不懈的将好的内容呈现给大家，为大家带来良好的阅读体验。让我们来一场视觉与心灵的盛宴，穿梭在即将登陆游戏世界的新奇领域。首先，让我们追随桐生一马的脚步，他是那位曾让黑道闻风丧胆的男人

分类标签游戏新奇领域街机

12-03 02:14

SQLServer2014中的Cast和Convert函数

SQLServer2014中的Cast和Convert函数Cast和Convert函数提供了类似的功能，用于将值从一种数据类型转换为另一种数据类型。Cast()函数用于将一个变量或数据从一种数据类型转换为另一种数据类型，为动态参数或空值提供数据类型。语法：CAST([Expression]ASDat

分类标签 SQLServer2014Cast函数Convert函数

12-03 02:13

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway