TensorRT环境搭建进行onnx的GPU推理

1.创建一个新的 Conda 环境并激活

conda create -n tensorrt_env python=3.9
conda activate tensorrt_env

2.安装 CUDA Toolkit及cudnn(如已安装可跳过)

conda install -c conda-forge cudatoolkit=11.3
conda install -c conda-forge cudnn=8.2.1

3.安装 TensorRT

https://developer.nvidia.com/nvidia-tensorrt-8x-download
下载合适你cuda的版本,解压到指定位置并设置环境变量

将 TensorRT 的库路径添加到您的 PATH 环境变量中:
setx PATH "%PATH%;C:\path\to\TensorRT-8.6.1.6\lib"

4.安装 PyCUDA

pip install pycuda

安装 PyCUDA 遇到的问题通常是由于缺少编译工具。在 Windows 上,您需要安装 Microsoft Visual C++ 14.0 或更高版本的构建工具来编译 PyCUDA。以下是解决方法的详细步骤:

  1. 安装 Microsoft Visual C++ Build Tools
    下载Microsoft C++ 生成工具:
https://visualstudio.microsoft.com/zh-hans/visual-cpp-build-tools/

打开生成工具并勾选“使用C++的桌面开发”点击安装即可


image.png

2.验证 MSVC 编译器的安装
搜索并打开“x64 Native Tools Command Prompt for VS 2022”(或者类似的名称,具体取决于您的 Visual Studio 版本)

在打开的命令提示符中,运行以下命令来验证 MSVC 编译器是否正确安装:

cl

如果显示版本信息,说明 MSVC 编译器已正确安装。此时重新安装PyCUDA即可成功

5.安装 TensorRT 的 Python 绑定

假设您在 TensorRT-8.6.1.6 目录中:
cd TensorRT-8.6.1.6\python
pip install tensorrt-8.6.1-cp39-none-win_amd64.whl

6.验证安装

import tensorrt as trt
print(trt.__version__)

onnx转engine模型

cd TensorRT-8.6.1.6\bin
trtexec --onnx=模型输入路径.onnx --fp16 --saveEngine=模型输出路径.engine 
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容