1.创建一个新的 Conda 环境并激活
conda create -n tensorrt_env python=3.9
conda activate tensorrt_env
2.安装 CUDA Toolkit及cudnn(如已安装可跳过)
conda install -c conda-forge cudatoolkit=11.3
conda install -c conda-forge cudnn=8.2.1
3.安装 TensorRT
https://developer.nvidia.com/nvidia-tensorrt-8x-download
下载合适你cuda的版本,解压到指定位置并设置环境变量
将 TensorRT 的库路径添加到您的 PATH 环境变量中:
setx PATH "%PATH%;C:\path\to\TensorRT-8.6.1.6\lib"
4.安装 PyCUDA
pip install pycuda
安装 PyCUDA 遇到的问题通常是由于缺少编译工具。在 Windows 上,您需要安装 Microsoft Visual C++ 14.0 或更高版本的构建工具来编译 PyCUDA。以下是解决方法的详细步骤:
- 安装 Microsoft Visual C++ Build Tools
下载Microsoft C++ 生成工具:
https://visualstudio.microsoft.com/zh-hans/visual-cpp-build-tools/
打开生成工具并勾选“使用C++的桌面开发”点击安装即可

image.png
2.验证 MSVC 编译器的安装
搜索并打开“x64 Native Tools Command Prompt for VS 2022”(或者类似的名称,具体取决于您的 Visual Studio 版本)
在打开的命令提示符中,运行以下命令来验证 MSVC 编译器是否正确安装:
cl
如果显示版本信息,说明 MSVC 编译器已正确安装。此时重新安装PyCUDA即可成功
5.安装 TensorRT 的 Python 绑定
假设您在 TensorRT-8.6.1.6 目录中:
cd TensorRT-8.6.1.6\python
pip install tensorrt-8.6.1-cp39-none-win_amd64.whl
6.验证安装
import tensorrt as trt
print(trt.__version__)
onnx转engine模型
cd TensorRT-8.6.1.6\bin
trtexec --onnx=模型输入路径.onnx --fp16 --saveEngine=模型输出路径.engine