什么是GPU？
GPU（Graphics Processing Unit），即图形处理单元，最初设计用于加速计算机图形和图像渲染。
现代GPU不仅用于图形处理，也广泛应用于科学计算、深度学习等需要大规模并行计算的领域。
GPU的架构特点
大量核心：一个GPU通常包含数千个小而高效的计算核心（如NVIDIA的CUDA核心），能够同时执行大量并行任务。
并行计算能力强：适合执行同一操作重复处理大量数据的任务（例如矩阵运算、图像像素处理）。
专用硬件单元：现代GPU还包含Tensor Cores等专门加速矩阵乘法的单元，进一步提升深度学习性能。
显存（VRAM）：GPU配备高速显存，用于存储数据和计算过程中的临时变量，容量从几GB到上百GB不等。
CPU vs GPU 对比总结
| 方面 | CPU | GPU |
|---|---|---|
| 设计目标 | 通用计算、低延迟、高单核性能 | 高吞吐量、大规模并行计算 |
| 核心数 | 少（4-32核） | 多（数千核心） |
| 计算方式 | 串行、多线程 | 并行 |
| 适合任务 | 复杂逻辑、操作系统、软件控制流程 | 矩阵运算、图像处理、深度学习 |
| 编程难度 | 低（普通编程语言即可） | 高（需用CUDA/OpenCL等） |
| 功耗 | 较低 | 较高 |
| 典型应用 | 操作系统、数据库、一般应用 | AI训练、图形渲染、科学计算 |
GPU的主要应用领域
图形和游戏渲染：实时生成高质量的3D图像和视频。
深度学习：加速神经网络的训练与推理，极大缩短计算时间。
科学计算：气象模拟、物理仿真、基因测序等领域。
视频处理：视频编码、转码、特效制作等。
加密货币挖矿：利用GPU强大的计算能力进行哈希计算。
常见GPU厂商和型号
NVIDIA：CUDA架构广泛应用于AI领域，代表产品有RTX 30系列、Tesla A100等。
AMD：推出Radeon系列，适合游戏和部分计算任务。
Intel：近期推出Xe系列GPU，开始进入高性能计算领域。
为什么深度学习离不开GPU？
神经网络训练需要大量的矩阵和向量计算，GPU擅长并行处理这些重复计算任务。
GPU显存容量大，可以存储巨大的模型参数和训练数据。
Tensor Cores等硬件加速单元专为深度学习设计，提升性能。
关键参数
| 参数 | 说明 | 重要程度（深度学习） |
|---|---|---|
| 显存大小 | 存放模型和数据，显存越大能跑更大模型或更大batch | ⭐⭐⭐⭐⭐ |
| CUDA核心数 | 并行计算核心数量，越多越好 | ⭐⭐⭐⭐ |
| Tensor Cores | 矩阵乘法专用核心，极大提升深度学习性能 | ⭐⭐⭐⭐⭐ |
| 显存带宽 | 影响数据传输速度 | ⭐⭐⭐⭐ |
| 浮点性能（TFLOPS） | 计算能力指标 | ⭐⭐⭐⭐ |
| 功耗 | 影响散热和电费 | ⭐⭐ |
| 价格 | 预算限制 | ⭐⭐⭐⭐⭐ |
| 型号 | 显存 | CUDA核心数 | 适用场景 | 大致价格 |
|---|---|---|---|---|
| RTX 4060 / 4070 Ti | 8~12GB | 3000~7000+ | 轻量级训练/入门 | 2500~4000元 |
| RTX 4080 / 4090 | 16~24GB | 9000~16000+ | 中大型训练、游戏 | 6000~15000元 |
| NVIDIA A100 | 40~80GB | 6912 | 大规模训练、企业级 | 数十万起 |
| Tesla T4 | 16GB | 2560 | 推理、轻量训练 | 1万左右 |
| RTX 3090 | 24GB | 10496 | 大型训练、科研 | 7000~9000元 |
NOTE:
显存是首要硬指标，显存不足根本跑不了大模型。
Tensor Core显著提升深度学习训练速度，优先选择带Tensor Core的GPU。
多卡训练时注意PCIe通道和带宽，避免瓶颈。
预算有限时，可以选择上一代高端卡或者二手卡，但风险和保修要考虑。
深度学习框架（PyTorch、TensorFlow）对CUDA版本有要求，注意兼容性。
