英伟达开发者社区经理何琨分享DeepStream和TensorRT工具

新知榜官方账号

2023-08-26 08:54:29

DeepStream和TensorRT工具介绍

DeepStream是基于NVIDIA运行的工具，它主要应用于视觉整个流程的解决方案。它跟其他视觉库（比如OpenCV）不一样的地方在于，它建立一个完整的端到端的支持方案，换句话说你的源无论是Camera、Video还是云服务器上的视频，从视频的编解码到后台的图像Inference再到展示出来的画面的完整pipeline上的各个细节它都能帮助大家，包括参数的设置。

TensorRT是一种高性能深度学习推理优化器和运行时加速库，它的底层推理任务基于GPU推理引擎。它可以优化神经网络模型以及其他功能。

DeepStream和TensorRT工具的优势

DeepStream和TensorRT工具可以帮助大家加速视觉领域中的任务和应用程序，比如视频检索、目标检测等。它们的优势在于可以提高运行速度和性能，而且可以在小尺寸的GPU设备、无人机或者自动驾驶汽车等设备上使用。

DeepStream和TensorRT工具的应用领域

DeepStream和TensorRT工具可以应用于很多领域，如视觉、语音、NLP等。它们支持NVIDIA的Xavier系列、Tegra系列和最新出的Nano系列等产品，在GPU调度的情况下，比传统视觉库的加速效果要好很多。

DeepStream和TensorRT工具的使用方法

使用DeepStream和TensorRT工具时，需要把训练好的数据或网络模型给到它们。通过ONNX的操作，TensorRT基本上支持了现在市面上常见的网络框架训练出的模型，Caffe、TensorFlow、ONNX、DarkNet的数据都是可以的。

举个例子，现在跑的是一个大家耳熟能详的模型，就是Yolov3的，它跑在我们的Tegra的产品上，只有不到半个手掌大的计算芯片设备，我做了一个目标检测任务，前提是BatchSize我都设为了1，因为在那样Memory的情况下，如果BatchSize设为更多，比如2或者4的话，如果不用DeepStream的话它是跑不了的，OutofMemory了。

可以看到每一个模块是用什么样的硬件设备来跑的，因为有一些可能还用到了CPU，但更多用到GPU的加速。

DeepStream和TensorRT工具的特性

DeepStream和TensorRT工具支持许多新的特性，比如一个服务器上要接很多路摄像头，这种情况要接很多路Pipeline。在自动行驶的过程中，为了避撞，汽车两边的摄像头的精度需要更多的关注，这时DeepStream会自动管理或删减Pipeline。同时还支持网络层的融合和内核调用等功能。

英伟达开发者社区

英伟达开发者社区是一个可以帮助大家解决问题的平台。大家有什么问题可以在上面提问。

本页网址：https://www.xinzhibang.net/article_detail-10411.html

寻求报道，请

关键词

DeepStream TensorRT 视觉整个流程 GPU推理引擎

分享至微信：

相关工具

Cutout.Pro

AI在线处理图片

Colossyan

AI虚拟人出镜视频生成

来画

动画和数字人智能生成平台

Veed Video Background Remover

Veed推出的AI视频背景移除工具

一帧秒创

简单好用的AI智能视频创作平台

Synthesia

AI视频生成平台

手机上好用的AI工具汇总

在这个信息爆炸的时代，人们对于提高工作效率、拓展学习领域的需求日益增长。AI技术的崛起为满足这一需求提供了便捷的解决方案，而手机上的AI工具更是成为人们生活中不可或缺的助手。今天我就为大家奉上手机上好用的AI工具汇总！1. 文字生成视频AI视频AI包括：Lumen5、Synthesia、SteveA

分类标签 AI工具视频生成照片编辑PDF处理语法检查UPDF

12-09 00:02

AI工具访问量排名前50，ChatGPT占比超60%

AI工具访问量排名前50，ChatGPT占比超60%据调查机构Writerbuddy.ai的数据显示，排名前50名的AI工具在2022年9月至2023年8月期间累计访问量达240亿次。下面看一下前10名都是谁：ChatGPT：这是一个基于GPT-3模型的自然语言生成工具，可以用来创建对话、文章、歌词

分类标签 AI工具访问量排名

11-18 22:16

Synthesia：15分钟内制作专业视频的AI数字人工具

Synthesia：15分钟内制作专业视频的AI数字人工具今天来看一个ai数字人的工具网站，叫Synthesia。它这个介绍是15分钟内创建专业的视频。有什么功能呢？完整的功能，ai图像和声音。看这一块。首先是150多个不同的ai头像，也就是说你可以选择150多个不同的ai头像，外观、形象，这是头像

分类标签 SynthesiaAI数字人工具视频制作

11-11 08:43

AIGC+音乐、游戏和工作：生成性人工智能在不同行业中的应用

AIGC+音乐过去一年，生成性人工智能无疑是最热的话题之一，这在很大程度上是由OpenAI和ChatGPT推动的。虽然从一个简单的提示词中创建各种内容的能力带来了各种社会道德和安全问题，但它也为无数的初创企业和商业模式打开了新的大门，而这在12个月前是完全不可能的。对于音乐行业来说，生成性AI同样可

分类标签生成性人工智能音乐游戏工作人工智能算法版权问题

11-07 22:32

Oracle Analytics Cloud推出基于AI的新功能

Oracle Analytics Cloud推出基于AI的新功能日前，Oracle宣布Oracle Analytics Cloud推出基于AI的新功能。新功能利用Oracle云基础设施远程软件服务（Oracle Cloud Infrastructure, OCI）生成式AI服务，可帮助自助分析用户更

分类标签 OracleAnalyticsCloudAI自助分析

11-07 22:31

最佳AI工具推荐

最佳AI工具推荐人工智能工具是所有专业人士和公司的福音，可以最大限度地提高生产力和盈利能力。了解它们以提高您的工作效率。人工智能在市场上具有巨大的范围，因为它简化了研究、内容管理和数据交互。因此，毫不夸张地说，人工智能是未来。随着技术的不断发展，观察人工智能与常规活动的整合会产生一流的结果。自成立以

分类标签人工智能工具生产力

11-07 22:28

跨境电商AI应用，创建产品场景图

跨境电商AI应用，创建产品场景图跨境电商的小伙伴们常常需要用到产品场景图来展示产品效果，但是手工制作费时费力，使用AI工具可以快速生成特定场景的展示照片。除了Midjourney，还有一款叫做Flair的AI作图工具。使用Flair只需要三步：上传产品的图片、选择场景、生成图片。这个过程非常简单快捷

分类标签跨境电商AI应用产品场景图

11-07 22:27

10位国外人工智能领域投资人的未来趋势预测

趋势1：人工智能将带动人类工作水平再提高Greylock的ReidHoffman和SaamMotamedi认为，2021—2022年人工智能快速进步创造了真正的实用价值，将会从根本上提高各种职业的生产力、影响力和价值。五年内，主流职业都将有一个人工智能自动化工具。趋势2：生成式人工智能引领生命科学进

分类标签人工智能生命科学交互界面视频创作代码生成临床试验工作工具AI提示词工业自动化

11-07 22:26

ChatGPT：人工智能的新革命还是人类思想的死亡？

ChatGPT：人工智能的新革命还是人类思想的死亡？一场脑力劳动的工业革命热潮迅速占领了互联网，这场狂飙的肇始者就是ChatGPT。人工智能（AI）再次引发关注，只是这次的关注中带着对未来的恐慌，因为AI越来越像人了。ChatGPT是人工智能实验室OpenAI发布的全新聊天机器人模型，有别于以往的聊

分类标签 ChatGPT人工智能革命

11-07 22:25

Synthesia：AI视频创作平台的“独角兽”

历经六年打磨，终成行业独角兽。500多年前的文艺复兴，人类解放了自己的思想，从而释放出无限的创造力。现在，这个创造的接力棒交到了AI手中。当人人都在以ChatGPT为话题开头谈起AIGC时，不要忘了，互联网内容的汪洋大海中，除了文字和图片，还有大量的视频，而后者的难度，可以说集前二者之大成。或许也正

分类标签 SynthesiaAI视频视频生成独角兽AIGC人工智能

10-26 02:09

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway