我的OpenGL ES学习之路(七)：YUV转RGB 未完待续...

色彩的二次抽样

在RGB颜色模式下，每个像素点由Red、Green、Blue三种颜色组合而成，YUV使用色彩通道UV和亮度通道Y，这种格式更适合图像处理领域，图片的所有细节保存在亮度通道中，如果没有亮度，图片就是一张灰度图片，人的眼睛对亮度的敏感度要高于颜色，所以可以通过减少每个像素点的颜色值，达到效果比较好的压缩，这个减少颜色数据的过程就是色彩的二次抽样

YUV转RGB绘制纹理

纹理映射只能在RGBA方式下执行，摄像头采集YUV，需要把YUV转换成RGBA

• 获取到视频帧的YUV数据

• CoreVideo进行分离Y分量和UV分量
• Fragment Shader对Y分量和UV分量进行采样
• Fragment Shader转换YUV到RGB
• 进行渲染

看一下BT.601的RGB到YUV的转换算法

R' = 1.164*(Y’-16) + 1.596*(Cr'-128)

G' = 1.164*(Y’-16) - 0.392*(Cb'-128) - 0.813*(Cr'-128) 

B' = 1.164*(Y’-16) + 2.017*(Cb'-128)

// 其中括号里面的是做伽马矫正用的

所以我们的转换矩阵可以这样写

  mat3( 1.164,     1.164,     1.164,
          0.0,    -0.392,     2.017,
        1.596,    -0.813,       0.0,)

Fragment Shader中的转换下面这样写

varying highp vec2 texCoordVarying;
precision mediump float;

uniform sampler2D SamplerY;
uniform sampler2D SamplerUV;
uniform mat3 colorConversionMatrix;

void main() {
    mediump vec3 yuv;
    lowp vec3 rgb;
    yuv.x = (texture2D(SamplerY, texCoordVarying).r);// - (16.0/255.0));
    yuv.yz = (texture2D(SamplerUV, texCoordVarying).ra - vec2(0.5, 0.5));
    
    rgb = colorConversionMatrix * yuv;
    gl_FragColor = vec4(rgb, 1);
}