一、tensorrt安装
下载
安装包下载：https://developer.nvidia.com/zh-cn/tensorrt
下载对应tar包并解压即可 tar -zxvf环境变量配置
vim ~/.bashrc
# 添加以下内容
export LD_LIBRARY_PATH=/path/to/TensorRT-7.2.3.4/lib:$LD_LIBRARY_PATH
export LIBRARY_PATH=/path/to/TensorRT-7.2.3.4/lib::$LIBRARY_PATH
- 版本相关
和cuda的版本相关
二、模型转换
- 使用
TF-TRT，将TensorRT集成在TensorFlow中 - 使用
ONNX2TensorRT，即ONNX转换trt的工具 - 手动构造模型结构，然后手动将权重信息挪过去，非常灵活但是时间成本略高，有大佬已经尝试过了：tensorrtx
三、部署相关
部署TensorRT的方式，官方提供了三种：
- 集成在Tensorflow中使用，比例TF-TRT，这种操作起来比较便捷，但是加速效果并不是很好；
- 在TensorRT Runtime环境中运行模型，就是直接使用TensorRT；
- 搭配服务框架使用，最配的就是官方的triton-server，完美支持TensorRT
四、pytorch模型转换
思路：pth模型=>onnx=>tensorRT
4.1 pytorch模型转trt
4.2 trt部署
五、tensorflow模型转换
TODO
六、caffe模型转化
对于caffe模型，则不需要转化，因为tensorRT是可以直接读取caffe模型的。
