NVIDIA 正式发布TensorRT 8，宣称该软件将语言查询推理时间缩短了一半，使开发者能够从云端到边缘构建全球最佳性能的搜索引擎、广告推荐和聊天机器人。
TensorRT 8 的各项优化为语言应用带来了创纪录的速度，能够在 1.2 毫秒内运行 BERT-Large ——全球最广为采用的基于 transformer 的模型之一。过去，企业不得不缩减模型大小，而这会导致结果出现大幅偏差。现在有了 TensorRT 8，企业可以将其模型扩大一倍或两倍，从而大幅提高精度。
除了针对 transformer 的优化之外，TensorRT 8 还通过其他两项关键特性，实现了AI推理方面的突破。
其一是稀疏性，这是助力推动 NVIDIA Ampere 架构 GPU 性能提升的一项全新技术，它不但提高了效率，还使开发者能够通过减少计算操作来加速其神经网络。
其二是量化感知训练，开发者能够使用训练好的模型，以 INT8 精度运行推理，在这一过程中不会损失精度。这大大减少了计算和存储成本，从而在 Tensor Core 核心上实现高效推理。
摘抄自 >> [https://zhuanlan.zhihu.com/p/391894578]
环境配置
软件环境
下载链接：https://developer.nvidia.com/nvidia-tensorrt-8x-download (需要注册NVIDIA账号后下载)
官方文档：https://docs.nvidia.com/deeplearning/tensorrt/archives/index.html#trt_8
官方推荐配置：
| SDK | Version | |
|---|---|---|
| TensorRT | 8.0.1 | Github|在线文档 |
| CUDA | 11.3 | CUDA Toolkit Archive |
| CUDNN | 8.2 | cuDNN Archive |
| Driver Versions | >= 450.80.02 |
CUDA11.3.1 安装要求：https://docs.nvidia.com/cuda/archive/11.3.1/cuda-installation-guide-linux/index.html
由于CUDA函数（cuFFT和CUB）对C++11的要求，自CUDA11.0开始，对GCC编译器的最低要求为6。如果GCC不满足要求，在使用cuDNN和cuBLAS时将无法使用静态链接。
GCC源码下载： http://ftp.gnu.org/gnu/gcc/
硬件环境
CPU：AMD EPYC 7713 64-Core Processor[1]
GPU：NVIDIA A40 （计算能力：8.6）
