GPU介绍
图形处理器（Graphics Processing Unit, GPU）初始时设计用于并行的图像处理，通常在个人电脑、工作站、游戏机以及一些移动设备中作为图像处理的微处理器。随着实际应用对GPU性能需求的不断增加，GPU的计算性能越来越强并且越来越通用化，这也使得GPU在通用并行计算（GPGPU）中得到了越来越广泛的使用。从下面两幅图中可以看出，GPU相较于CPU具有更高的浮点运算性能以及更快的存储带宽。
异构并行计算
虽然GPU有非常强大的计算性能，但是它不能独立的作为一个处理器使用，需要和CPU协同工作，我们称GPU为CPU的协处理器。CPU负责整个程序的发起与调度。由于并行计算的代码同时运行在CPU与GPU上，所以称之为异构并行计算。
CPU与GPU之间通常采用PCIe进行连接。从示意图中可以大致的看出CPU与GPU之间的主要区别：CPU除了有多个的算术逻辑单元（ALU）之外，还有很大的硬件部分是控制单元（Control），所以CPU不仅有能力处理计算任务，还比较擅长于处理一些逻辑控制的任务。相比之下，GPU则把绝大部分的晶体管用作计算单元，所以GPU更加擅长于做并行计算的任务。一个异构计算的应用通常包含两个部分：运行在CPU上的部分称为主机端代码（Host Code），运行在GPU上的部分称为设备端代码（Device Code）.
什么是CUDA？
CUDA是计算统一设备架构（Compute Unified Device Architecture）的简称，是一种由NVIDIA公司推出的通用并行计算架构，该架构能够使用GPU解决复杂的计算问题。CUDA支持多种不同的编程语言，包括常见的C/C++，Fortran以及Python。用户除了使用CUDA编写自己的GPU应用程序之外，NVIDIA以及其他开发人员还开发出了基于CUDA的常用库，比如用于线性方程组求解的cuBLAS，用于深度神经网络的cuDNN等等。现有的库一般都是经过专业人员开发并经过严格的测试才发布的，所以如果现有的库能够满足项目的需要，尽量调用现有的CUDA库。这样不仅能够加快开发进度，而且项目质量也能得到很好的保证。当然，很多时候并没有现成的CUDA库可以调用，这就需要我们自己动手编写。除了CUDA之外，我们还可以使用OpenACC进行GPU计算，虽然OpenACC相较于CUDA更为简便易用，但其缺乏灵活性并且性能较差。关于CUDA的下载与安装以及支持CUDA编程的显卡列表等信息可以参见CUDA的官方文档。
下面通过一个简单的Hello World的例子来看一下CUDA程序具体长什么样子：
#include <stdio.h>
__global__ void helloFromGPU (void)
{
printf(“Hello World from GPU!\n”);
}
int main(void)
{
// hello from cpu
printf(“Hello World from CPU!\n”);
helloFromGPU <<<1, 10>>>();
cudaDeviceReset();
return 0;
}
编译并运行：
$nvcc -arch sm_61 hello.cu -o hello
$./hello
Hello World from CPU!
Hello World from GPU!
Hello World from GPU!
Hello World from GPU!
Hello World from GPU!
Hello World from GPU!
Hello World from GPU!
与相应的CPU相比，可以看出主要有两点不同：1） 有限制符__global__的核函数（kernel function）, 2) 调用核函数时候需要<<<>>>配置核函数。
这儿的核函数就是运行在GPU端的代码。通常情况下一个CUDA代码包含五个部分：
-分配GPU端的内存
-把数据从CPU端拷贝到GPU端
-调用核函数在GPU完成具体的计算任务
-把计算结果从GPU端拷贝回CPU端
-释放GPU端内存
前面提到的Hello World的例子中我们只看到了第三个部分，在后续的章节中我们会继续看到其他的部分，并针对于每个部分作详细的介绍与分析。
