开发者学习资源 | NVIDIA TensorRT 全新教程上线

NVIDIA TensorRT™ 是一个用于高效实现已训练好的深度学习模型推理过程的软件开发工具包，内含推理优化器和运行环境两部分，其目的在于让深度学习模型能够在GPU上以更高吞吐量和更低的延迟运行，目前已在业界得到广泛应用与部署。

为了帮助广大开发者更好地了解TensorRT，NVIDIA GPU计算专家团队（Devtech）工程师李玮、王猛基于最新的8.6.1版本录制了NVIDIA TensorRT 教程。本系列教程预计4小时，包含五个章节，旨在相对全面地介绍TensorRT。该教程浓缩了NVIDIA TensorRT开发团队的技术和经验，以及与客户在合作过程中遇到的各种问题和相应的解决方法，期待开发者们在观看该教程及配套代码库后能有所收获，为学习、科研和工作添砖加瓦。

需要注意的是，在未来版本的TensorRT中，部分API和用法可能发生变化，该教程内容也会随之进行更新，请在配合代码进行学习的时候，注意开发环境和软件版本，避免兼容性方面的问题。

立即扫码充电！

TensorRT 教程介绍

第一部分：TensorRT简介（时长：41分钟）

• TensorRT基本特性和用法

• Workflow：使用TensorRT API搭建

• Workflow：使用ONNX-Parser

• Workflow：使用框架内TensorRT接口

本章节将介绍TensorRT的基本特性和用法，并介绍使用TensorRT的三种常见工作流程。在该章节中，将从头搭建一个可以在TensorRT中运行推理计算的程序，方便了解一些基本API的用法，然后分别使用TensorRT的原生API搭建、使用Parser解析ONNX模型，以及使用TensorFlow和Pytorch等平台自带的TensorRT接口这三种方法将TensorRT用起来。

第二部分：开发辅助工具（时长：24分钟）

• trtexec

• Netron

• polygraphy

• onnx-graphsurgeon

• Nsight Systems

本章节介绍使用TensorRT过程中五个常用的开发辅助工具，它们在性能测试、网络可视化、模型迁移、精度检验、计算图编辑、模型整体性能优化等方面都起到了重要的作用。第二章节将逐一介绍这五个工具，并列举在实际工作中使用这些工具的范例和经验。

第三部分：插件书写（时长：18分钟）

• 使用Plugin的简单例子

• 关键API

• 结合使用Parser和Plugin

• Plugin高级话题

• 使用Plugin的例子

本章节将着重介绍TensorRT Plugin的相关技术，将从一个最简单的标量加法的Plugin例子开始，讲解Plugin的原理、特性、用法等，然后介绍一个把Plugin和Parser结合使用的例子，最后补充一些Plugin的高级用法，以及在工作中使用Plugin的一些案例。

第四部分：TensorRT高级用法（时长：28分钟）

• 多Optimization Profile

• 多Stream

• 多Context

• CUDA Graph

• Timing Cache

• Algorithm Selector

• Refit

• Tactic Source

• 硬件兼容 版本兼容

• 更多工具

本章节将介绍TensorRT的一些高级话题。这些技术在TensorRT的使用过程中不是必须的，但在复杂的实际应用场景中，这些技术对于改善模型性能和内存占用、模型的调试分析、算法精确控制等方面有重要的作用。建议在完成前三个章节的学习后，浏览本章节，将对TensorRT的使用起到锦上添花的作用。

第五部分：常见优化策略（时长：1小时42分钟）

• 概述

• 性能分析工具

• 性能优化实例

本章节将介绍TensorRT工作流程中常见的模型优化方法。该部分内容将深入讲解TensorRT相关性能分析工具，并以实例方式讲述曾经遇到过的一个模型在移植、优化、部署的过程中使用的优化策略。

相关资源链接：

TensorRT介绍：developer.nvidia.com/tensorrt

TensorRT下载：developer.nvidia.com/nvidia-tens…

TensorRT Cookbook（本教程配套代码，包含视频以外的更多范例代码）：github.com/NVIDIA/trt-…

TensorRT文档： docs.nvidia.com/deeplearnin…

C API文档：docs.nvidia.com/deeplearnin…

Python API文档：docs.nvidia.com/deeplearnin…

这篇好文章是转载于：学新通技术网