【嵌入式-TensorRT】介绍

TensorRT是什么？

他是模型加速工具，降低运行时的数据吞吐量，能让模型跑得更快，用于模型推理的时候。

TensorRT为什么能提升模型运行速度？

TensorRT是英伟达针对自家平台做的加速包，TensorRT主要做了这么两件事情，来提升模型的运行速度。

• 半精度推理。
  TensorRT支持INT8和FP16的计算。深度学习网络在训练时，通常使用 32 位或 16 位数据。TensorRT则在网络的推理时选用不这么高的精度，达到加速推断的目的。

  每次梯度的更新是很微小的，这时候需要相对较高的进度，一般来说需要float型，如FP32；而模型在推断（Inference）的时候可以使用低精度技术，如FP16、INT8、甚至是Bit（0和1），其推理结果没有特别大的精度损失。使用低精度数据使得模型需要空间减少，计算速度加快……

• 重构网络结构
  TensorRT对于网络结构进行了重构，把一些能够合并的运算合并在了一起。一个深度学习模型，在没有优化的情况下，比如一个卷积层、一个偏置层和一个reload层，这三层是需要调用三次cuDNN对应的API，但实际上这三层的实现完全是可以合并到一起的，TensorRT会对一些可以合并网络进行合并。我们通过一个典型的inception block来看一看这样的合并运算。

如何合并网络结构

在没有经过优化的时候，inception block是图1中的样子，一个既有深度，又有宽度，还有concat操作的结构。

然后合并CBR(也就是conv，bn，relu)

水平合并，将做同样操作大小的CBR合并

concat计算直接融合，不单独传输信息独立做这个操作，减少传输吞吐。