图形API简介
OpenGL(Open Graphics Library)是一个跨编程语言、跨平台的编程图形程序接口,它将计算机的资源抽象称为一个个OpenGL的对象,对这些资源的操作抽象为一个个的OpenGL指令。主要是用于PC端(Windows、MAC)图形渲染
OpenGL ES(OpenGL for Embedded Systems)是OpenGL三维图形API的子集,针对手机(iOS、安卓)、PDA和游戏主机等嵌入式设备而设计,去除了许多不必要和性能较低的API接口。
DirectX 是由很多API组成的,DirectX并不不是⼀一个单纯的图形API. 最重要的是DirectX是属于Windows上⼀一个多媒体处理理框架.并不不⽀支持Windows以外的平台,所以不不是跨平台框架. 按照性质分类,可以分为四⼤大部分,显示部分、声⾳音部分、输⼊入部分和⽹网络部分。
Metal : Metal: Apple为游戏开发者推出了了新的平台技术 Metal,该技术能够为 3D 图像提⾼高 10 倍的渲染性能。Metal 是Apple为了了解决3D渲染⽽而推出的框架。
无论是OpenGL、OpenGL ES还是DriectX、Metal最终都是用GPU高效去渲染图形
名词解析
OpenGL 上下文(Context)
OpenGL 上下文,可以理解为一个庞大的状态机,它保存了OpenGL的各种状态,是指令的执行基础。由于context非常庞大,那么在切换上下文时消耗也是非常大的。并且不同的绘制模块可能需要完全独立的状态管理,因此可以在程序中分别创建不同的的多个上下文,在不同的线程中使用不同的上下文,彼此之间共享纹理和缓冲区等资源。
OpenGL 状态机
OpenGL可以记录⾃⼰的状态(如当前所使⽤的颜⾊、是否开启了混合功能等)
OpenGL可以接收输⼊(当调⽤OpenGL函数的时候,实际上可以看成OpenGL在接收我们的输⼊入),如我们调⽤glColor3f,则OpenGL接收到这个输⼊后会修改⾃自⼰的“当前颜⾊”这个状态;
OpenGL可以进⼊停⽌状态,不再接收输入。在程序退出前,OpenGL总会先停止⼯作的;
渲染(Rendering)
将图形/图像数据转换成2D空间图像的过程就叫做渲染。(比如说把图片/视频/视图控件等绘制到屏幕上的过程)
顶点数组(VertexArray)
顶点指的是图形显示在屏幕上的顶点位置信息。
在OpenGL中的图像都是由图元组成。在OpenGL ES中,有3种类型的图元:点、线、三⻆角形。那么这些数据的集合为顶点数组。
顶点缓存区(VertexBuffer)
顶点缓存区是指我们的顶点数据从内存中拷贝到GPU显存的存储空间,这样对于顶点数据的读取与绘制是比存储在内存中是要高效的。
管线
在OpenGL 下渲染图形,就会有经历⼀个⼀个节点.⽽而这样的操作可以理理解管线。可以理解成流⽔线。每个任务类似流⽔线般执⾏。任务之间有先后顺序。管线是一个抽象的概念,之所以称之为管线是因为显卡在处理理数据的时候是按照一个固定的顺序来的,⽽而且严格按照这个顺序。就像⽔从一根管子的一端流到另一端,这个顺序是不不能打破的。
固定管线是指OpenGL内置的光照、坐标转换、裁剪等诸多功能。但是由于需要绘制的场景很多并且复杂,那么固定管线提供的功能不足,OpenGL则开放给编程人员自定义。即可编程管线。
着色器(Shader)
在GPU上执行的代码段或者一组指令称为着色器。固定着色器是指由OpenGL本身提供的API,只需我们提供参数,无法对其进行修改。自定义着色器是指OpenGL开放给开放人员(使用GLSL语法)用于自定义需求的着色器。其中着色器可以分为:
顶点着色器(VertexShader)
指用来处理与顶点相关的代码或者指令。顶点着色器确定图形的位置,还有变换(缩放、旋转、平移、投影(3D图形数据转换成2D))。顶点着色器是逐顶点运算,每个顶点数据都会执行一次顶点着器,在顶点着色器运算过程中无法访问其他顶点数据,这一切都是并行计算。顶点着色器需要计算的顶点属性主要包括顶点坐标转换、逐顶点光照运算等。其中顶点自身坐标系转换到归一化坐标系运算,也是在此完成。
片元着色器(FragmentShader)/像素着色器(PixelShader)
用于处理图形中每个像素点颜色计算和填充。片元着色器是基于像素进行运算,每个像素都会执行一次片元着色器,当然这一切都是并行运算。
几何着色器(GeometryShader)
无法由开放人员进行自定义
曲面细分着色器(TessellationShader)
无法由开放人员进行自定义
GLSL(OpenGL Shading Language)
即给开发人员自定义着色器的着色器语言,在GPU上执行和运算,其中只有顶点着色器和片元着色器开放给开放人员。
光栅化(Rasterization)
光栅化是指顶点数据转换成片元数据的过程,也可以说是把物体的数学描述以及与物体相关的颜⾊信息转换为屏幕上⽤于对应位置的像素及⽤用于填充像素的颜⾊,这个过程称为光栅化,这是一个将模拟信号转化为离散信号的过程。光栅化把图形转换一个个栅格组成的图像,其中每一个元素都对应帧缓冲区中的一个像素。其中转换过程包含了两部分工作:1、决定窗口坐标中的哪些整形栅格区域被基本图元占用。2、分配每一个颜色值和深度值到各个区域。
纹理
可以理解为图片,在OpenGL中称为纹理,其文件格式为tga。在OpenGL ES中不需要转换成tag,可以直接从压缩图片(png、jpeg)转换成位图。
混合(Blending)
在测试阶段之后,如果像素依然没有被剔除,那么像素的颜⾊将会和帧缓冲区中颜⾊附着上的颜⾊进⾏混合,混合的算法可以通过OpenGL的函数进⾏指定。但是OpenGL提供的混合算法是有限的,如果需要更加复杂的混合算法,⼀般可以通过像素着⾊器进⾏实现,当然性能会⽐原⽣的混合算法差⼀些.
变换矩阵(Transformation)
图形想要进行平移、缩放、旋转变换,需要使用变换矩阵。
投影矩阵(Projection)
将3D坐标转换成二维屏幕坐标,实际线条也在二维坐标下进行绘制。
渲染上屏/交换缓冲区(SwapBuffer)
渲染缓冲区一般映射的是系统的资源⽐如窗⼝。如果将图像直接渲染到窗⼝对应的渲染缓冲区,则可以将图像显示到屏幕上。
但是,值得注意的是,如果每个窗⼝只有⼀个缓冲区,那么在绘制过程中屏幕进⾏了了刷新,窗⼝可能显示出不完整的图像。
为了解决这个问题,常规的OpenGL程序⾄至少都会有两个缓冲区。显示在屏幕上的称为屏幕缓冲区,没有显示的称为离屏缓冲区。在⼀个缓冲区渲染完成之后,通过将屏幕缓冲区和离屏缓冲区交换,实现图像在屏幕上的显示。
由于显示器的刷新⼀般是逐⾏进⾏的,因此为了防⽌交换缓冲区的时候屏幕上下区域的图像分属于两个不同的帧,因此交换一般会等待显示器刷新完成的信号,在显示器两次刷新的间隔中进⾏交换,这个信号就被称为垂直同步信号,这个技术被称为垂直同步。
使⽤了双缓冲区和垂直同步技术之后,由于总是要等待缓冲区交换之后再进⾏下⼀帧的渲染,使得帧率⽆法完全达到硬件允许的最⾼⽔水平。为了解决这个问题,引⼊了三缓冲区技术,在等待垂直同步时,来回交替渲染两个离屏的缓冲区,而垂直同步发⽣时,屏幕缓冲区和最近渲染完成的离屏缓冲区交换,实现充分利⽤硬件性能的⽬的。