图像API介绍

• OpenGL (Open Graphics Library)是一个跨编程语⾔言、跨平台的编程图形程序接⼝口，它将计算机的资源抽象称为一个个OpenGL的对象，对这些资源的操作抽象为一个个的OpenGL指令。

• OpenGL ES (OpenGL for Embedded Systems)是 OpenGL 三维图形 API 的子集，针对手机、 PDA和游戏主机等嵌⼊入式设备而设计，去除了许多不必要和性能较低的API接口。

• DirectX 是由多个API组成的，它并不是一个单纯的图形API，它只支持Windows，不是跨平台。按照性质可分为显示部分，声音部分，输入部分和输出部分。

• Metal：它是苹果为游戏开发推出的新技术，该技术大大的提高了3D图像渲染性能（10倍）。为3D渲染而推出的框架。

图形API简单的总结就是实现了图形的底层渲染。

游戏开发中对游戏场景、人物的渲染
音视频开发中，视频解码后数据的渲染
在地图引擎上地图数据的渲染
绘制动画
给视频加滤镜

OpenGL / OpenGL ES / Metal 在项目中利用GPU芯片来高效渲染图形图像。
（CPU是处理一些逻辑性强的任务）

Metal 和 OpenGL ES的学习就类似于 swift 与 OC的学习。作为一个苹果开发人员，swift要掌握，但是OC必须掌握。OpenGL ES是十分重要的

学习OpenGL ES有很多专业的名词。下面我们一一介绍一下常用的。

OpenGL 专业名词解析

• OpenGL 上下文 （Context）：

  在调用OpenGL指令之前首先要创建一个OpenGL上下文。存储了各种状态，也是OpenGL指令执行基础。由于上下文是一个巨大的状态机，为了减少开销但是又能够完成不同的绘制操作，所以在程序中创建多个不同的上下文，他们共同共享纹理，缓存区等资源。
  （自我记忆理解：上下文就好比我们搭建一个服务器网络中的许多配置文件）

• OpenGL 状态机：

  顾名思义就是描述一个对象在一个生命周期中经历过的各种状态。

• 渲染：

  将图像/图形数据转换成3D空间图像操作。

• 顶点数组 （VertexArray）

  顶点指的是我们在绘制一个图形时,它的顶点位置数据.而这个数据可以直接 存储在数组中或者将其缓存到GPU内存中

  画图一般是先画好图像的骨架，然后再往骨架里面填充颜色，这对于 OpenGL也是一样的。顶点数据就是要画的图像的⻣骨架，和现实中不不同的 是，OpenGL中的图像都是由图元组成。在OpenGLES中，有3种类型的图 元:点、线、三角形。那这些顶点数据最终是存储在哪里的呢?开发者可 以选择设定函数指针，在调用绘制方法的时候，直接由内存传入顶点数 据，也就是说这部分数据之前是存储在内存当中的，被称为顶点数组。而性能更高的做法是，提前分配一块显存，将顶点数据预先传入到显存当 中。这部分的显存，就被称为顶点缓冲区。

• 管线：

  在OpenGL下渲染图形，就会经历一个一个节点。这样的操作理解为管线。就相当于我们工作流水线一样。因为显卡处理数据的时候是按照一个固定的顺序来完成的，这个顺序是不能被打破的。

  • 固定管线 / 存储着色器

    在早期的OpenGL 版本,它封装了很多种着色器程序块内置的一段包含了光 照、坐标变换、裁剪等诸多功能的固定shader程序来完成,来帮助开发者 来完成图形的渲染. ⽽而开发者只需要传⼊入相应的参数,就能快速完成图形的 渲染。类似于我们熟悉的 iOS 开发会封装很多API,⽽而我们只需要调用,就可以实现功能。不 需要关注底层实现原理。

    但是OpenGL使用的场景丰富，固定管线/存储着色器无法完成每一个业务，所以后来将部分 开放成 可编程管线

• 着色器程序 （Shader）

  就全面的将固定渲染管线架构变为了可编程渲染管线。因此，OpenGL在实 际调用绘制函数之前，还需要指定一个由shader编译成的着⾊器程序。常 见的着色器主要有顶点着⾊器(VertexShader)，片段着色器(FragmentShader)/像素着色器(PixelShader)，几何着⾊(GeometryShader)，曲面细分着⾊色器器(TessellationShader)。片段着⾊器和像素着⾊器只是在OpenGL和DX中的不同叫法⽽而已。
  可惜的是，直到 OpenGLES 3.0，依然只支持了 “顶点着⾊器” 和 “片段着⾊器” 这两个最基础的着⾊器。

  OpenGL在处理shader时，和其他编译器一样。通过编译、链接等步骤，⽣成了着色器程序(glProgram)，着⾊器程序同时包含了顶点着⾊器和⽚片段 着⾊器的运算逻辑。在OpenGL进行绘制的时候，首先由顶点着⾊器对传入 的顶点数据进行运算。再通过图元装配，将顶点转换为图元。然后进行光栅化，将图元这种⽮量图形，转换为栅格化数据。最后，将栅格化数据传 ⼊片段着⾊器中进⾏运算。⽚段着⾊器会对栅格化数据中的每⼀个像素进行运算，并决定像素的颜色

  • 顶点着色器 （VertexShader）

    一般⽤来处理图形每个顶点变换(旋转/平移/投影等)

    顶点着⾊器是OpenGL中用于计算顶点属性的程序。顶点着⾊器是逐顶点运 算的程序，也就是说每个顶点数据都会执⾏行行一次顶点着⾊器，当然这是并行的，并且顶点着⾊器运算过程中无法访问其他顶点的数据

    一般来说典型的需要计算的顶点属性主要包括顶点坐标变换、逐顶点光照 运算等。顶点坐标由⾃身坐标系转换到归一化坐标系的运算，就是在这里发生的

  • 片元着色器 （FragmentShader）

    一般用来处理图形中每个像素点颜色计算和填充

    片段着⾊器是OpenGL中用于计算片段(像素)颜色的程序。⽚段着⾊器是 逐像素运算的程序，也就是说每个像素都会执⾏行行一次片段着色器，当然也 是并行的

• 光栅化 (Rasterization)

  是把顶点数据转换为⽚元的过程，具有将图转化为一个栅格组成的图象 的作用，特点是每个元素对应帧缓冲区中的一像素。

  光栅化就是把顶点数据转换为片元的过程。片元中的每一个元素对应于帧 缓冲区中的一个像素。

  光栅化其实是一种将几何图元变为二维图像的过程。该过程包含了两部分 的工作。第一部分工作:决定窗⼝口坐标中的哪些整型栅格区域被基本图元 占用;第二部分工作:分配一个颜色值和一个深度值到各个区域。光栅化过程产生的是片元

  把物体的数学描述以及与物体相关的颜色信息转换为屏幕上用于对应位置 的像素及⽤用于填充像素的颜色，这个过程称为光栅化，这是一个将模拟信 号转化为离散信号的过程

• 纹理：

  纹理可以理解为图片. 大家在渲染图形时需要在其编码填充图片,为了使得 场景更加逼真.⽽这里使⽤的图片,就是常说的纹理.但是在OpenGL,我们更加 习惯叫纹理,不是图片.

• 混合(Blending)

  在测试阶段之后，如果像素依然没有被剔除，那么像素的颜色将会和帧缓 冲区中颜色附着上的颜色进行混合，混合的算法可以通过OpenGL的函数进 行指定。但是OpenGL提供的混合算法是有限的，如果需更加复杂的混合 算法，一般可以通过像素着⾊器进行实现，当然性能会比原⽣的混合算法差一些.

• 变换矩阵

  图像需要发生平移，缩放，旋转变换时，需要使用变换矩阵

• 投影矩阵

  将3D坐标转换成二维屏幕坐标，实际线条也将在二维坐标下绘制

• 渲染上屏/交换缓冲区(SwapBuffer)

  渲染缓冲区一般映射的是系统的资源⽐比如窗口。如果将图像直接渲染到窗口对应的渲染缓冲区，则可以 将图像显示到屏幕上。

  -但是，值得注意的是，如果每个窗口只有⼀个缓冲区，那么在绘制过程中屏幕进⾏了刷新，窗口可能显 示出不完整的图像

  为了解决这个问题，常规的OpenGL程序至少都会有两个缓冲区。显示在屏幕上的称为屏幕缓冲区，没有 显示的称为离屏缓冲区。在一个缓冲区渲染完成之后，通过将屏幕缓冲区和离屏缓冲区交换，实现图像 在屏幕上的显示。

  由于显示器器的刷新一般是逐行进行的，因此为了防止交换缓冲区的时候屏幕上下区域的图像分属于两个 不不同的帧，因此交换一般会等待显示器刷新完成的信号，在显示器两次刷新的间隔中进行交换，这个信号就被称为垂直同步信号，这个技术被称为垂直同步

  使⽤了双缓冲区和垂直同步技术之后，由于总是要等待缓冲区交换之后再进⾏下⼀帧的渲染，使得帧率⽆法完全达到硬件允许的最高水平。为了解决这个问题，引入了三缓冲区技术，在等待垂直同步时，来回交替渲染两个离屏的缓冲区，⽽垂直同步发生时，屏幕缓冲区和最近渲染完成的离屏缓冲区交换，实现充分利⽤硬件性能的目的