https://haokan.baidu.com/v?pd=wisenatural&vid=9064106905869811204

1、GPU（Graphics Processing Unit：图形处理单元）：

起初专门设计用于处理图形和图像计算的硬件。近年来，由于其强大的并行计算能力，也被广泛用于科学、工程以及深度学习等非图形计算任务。

2、GPU驱动

GPU驱动是操作系统和GPU之间的软件接口。它确保操作系统能够识别并正确地使用GPU硬件。GPU驱动程序还提供了必要的软件支持，以使GPU能够执行图形渲染和计算任务。

3、GPGPU（General-Purpose computing on Graphics Processing Units：通用GPU计算）

是一种基于GPU的计算理念，它利用GPU的并行处理能力来完成图形处理之外的通用计算任务，包括科学计算、数据分析、机器学习、深度学习、计算金融以及其他需要大规模并行处理能力的问题。
GPGPU改变了GPU仅用于图形处理的传统观念，扩展了其在科学和工业计算领域的应用。

4、CUDA（Compute Unified Device Architecture，统一计算设备架构）：

CUDA是NVIDIA提出的一种计算架构和编程模型（包括硬件的抽象、内存模型、并行算法的执行模型等），是一套定义在nvidia GPU上进行高效计算的理论基础和方法，它允许开发者使用NVIDIA GPU进行高性能计算（HPC），而不仅仅是GPU传统的图形渲染用途。

以下是CUDA的一些关键特点：

1. 并行计算：CUDA利用GPU的大量核心来执行并行计算任务，这可以显著加快科学、分析和人工智能等领域的计算速度。
2. 编程模型：CUDA提供了一套编程接口，使得开发者能够编写能够在GPU上执行的程序。这包括CUDA C/C++、CUDA Fortran等语言扩展。
3. 兼容性：支持多种操作系统，包括Linux、Windows和macOS，允许跨平台开发。
4. 工具和库：CUDA Toolkit实现了CUDA架构，它包含了编译器、库和调试工具，帮助开发者开发和优化CUDA程序。
5. 硬件支持：大多数现代NVIDIA GPU（包括面向消费者的GeForce系列和面向工作站的Tesla、Quadro和NVS系列）都支持CUDA。

5、CUDA Toolkit：

实现CUDA架构的工具集，它包含了实现CUDA架构所需的编译器、库和调试工具。换句话说，CUDA Toolkit是让开发者能够编写、编译和优化CUDA程序的实用工具。包括：
nvcc：CUDA编译器，用于编译CUDA代码。
cuBLAS、cuFFT等：提供基本线性代数、快速傅里叶变换等数学库。
NPP：NVIDIA Performance Primitives，一系列用于图像和信号处理的函数库。
cuDNN：CUDA Deep Neural Network library，专门针对深度学习应用的GPU加速库。
CUDA Runtime：提供执行CUDA程序所需的运行时环境。
CUDA Driver：提供了与CUDA硬件交互的API。

6、CUDA和CUDA Toolkit的关系：

CUDA定义了在nvidia GPU上进行高效计算的理论基础和方法，而CUDA Toolkit提供了将这些理论应用到实践的必要工具，使得开发者能够充分利用CUDA架构的能力，开发高效的GPU加速应用程序。两者相结合，极大地推动了GPU在科学计算、数据分析、机器学习等领域的应用。
CUDA Toolkit的版本通常与它支持的CUDA架构版本紧密相关。例如，CUDA Toolkit 11.0支持CUDA 11.0架构。

7、没有CUDA toolkit能否使用NVIDIA GPU？

没有CUDA Toolkit，您仍然有可能使用NVIDIA GPU进行某些类型的计算或图形处理，但这通常局限于那些不需要CUDA特定功能的任务。以下是一些情况说明：

1. 图形渲染：大多数NVIDIA GPU即使没有安装CUDA Toolkit，也能够处理图形渲染任务，因为这是GPU的传统用途，并且通常由GPU驱动程序直接支持。
2. 通用GPU计算：对于非CUDA支持的通用GPU计算，您可能需要其他工具或语言支持，例如OpenCL，它是一种开放标准，允许在包括NVIDIA GPU在内的多种GPU和CPU上进行并行编程，一定程度实现通用GPU计算，但远不如CUDA。
3. 特定应用程序：一些应用程序可能自带了必要的库，允许它们直接与GPU交互而无需CUDA Toolkit。
   然而，对于需要CUDA特定功能和优势的应用程序，如深度学习、科学计算和某些类型的数据分析，没有CUDA Toolkit将无法充分利用NVIDIA GPU的并行计算能力。

此外，即使没有CUDA Toolkit，GPU的驱动程序通常也会提供一些基本的计算库，支持一些基本的GPU加速功能。但是，这些库通常不如CUDA Toolkit全面，并且性能可能也不如专门为CUDA优化的应用程序。

8、cuDNN（CUDA Deep Neural Network library）：

cuDNN是构建在CUDA Toolkit之上的一个深度学习库，它利用CUDA Toolkit中的库和工具专门针对深度神经网络的GPU高效实现进行了优化。它提供了一系列高度优化的函数，如卷积层、池化层、归一化和激活函数等，为深度学习框架和应用程序开发提供了一个快速的执行路径。
在使用cuDNN之前，必须先安装CUDA Toolkit，因为cuDNN需要CUDA Toolkit中的一些库和组件才能正常工作。许多流行的深度学习框架，如TensorFlow、PyTorch和Caffe等，都集成了对cuDNN的支持，以利用其优化的算法加速深度学习模型的计算.