TensorRT是NVIDIA公司发布的用于在部署端优化深度学习模型推断时间(Inference Time)并降低时延(latency)的加速计算库。在安装TensorRT前,请先安装
Visual Studio,本文使用的是Visual Studio 2017 Community
第一步,下载TensorRT。在NVIDIA TensorRT™页面,点击Download Now按钮,进入下载页面,选择Windows10 and CUDA9.0 zip package。为了保守起见,本文选择了CUDA 9.0版本。
下载得到文件:TensorRT-5.1.5.0.Windows10.x86_64.cuda-9.0.cudnn7.5.zip
该文件表示:TensorRT的版本是5.1.5.0;运行在Windows10平台上,依赖库是:cuda9.0和cudnn7.5。
第二步,下载并安装cuda9.0。在cuda页面,点击Download Now按钮,进入下载页面,选择Legacy Releases
第三步,下载并安装cudnn7.5。在cuDNN Archive下载页面,下载cuDNN v7.5.0 for CUDA 9.0 for Windows 10,如下所示。
下载完毕后,会得到文件:cudnn-9.0-windows10-x64-v7.5.0.56.zip。解压后,在bin文件夹里面可以发现cudnn64_7.dll。
把cudnn64_7.dll拷贝到cuda9.0的安装目录下bin文件夹中,本文的路径是:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\bin
第五步,把TensorRT-5.1.5.0.Windows10.x86_64.cuda-9.0.cudnn7.5.zip文件解压,然后把lib文件夹下的所有dll文件拷贝到cuda9.0的安装目录下bin文件夹中,如第四步所示。
到此,TensorRT就安装完毕了。
测试TensorRT是否安装成功:
在TensorRT的Samples/sampleMNIST文件下,打开sample_mnist.sln,如下图所示。
然后选中项目名称,在右键菜单中选择Build,若结果为:Build: 1 succeeded, 0 failed, 0 up-to-date, 0 skipped,证明安装成功了。
在TensorRT的bin文件夹下,运行sample_minist.exe,可以得到下图的结果:
到此,TensorRT 5.1GA在Windows10下安装成功