一、如何用 OpenGL 渲染 Camera 数据
OpenGL 提供了 FBO 缓存区的概念，Camera 的数据可以先缓存到 FBO 缓存区，接着我们可以使用滤镜的概念。第一个滤镜负责从FBO中获取数据对数据做采样处理，第二个滤镜拿到第一个滤镜处理后的纹理做渲染。
二、通过 Camera API 拿到摄像头数据
通过 setPreviewTexture API 将 SurfaceTexture 传递给 Camera。这样当有实时帧数据收到时，会回调 SurfaceTexture 的 onDrawFrame 方法。
mCamera.setPreviewTexture(mSurfaceTexture);
三、处理 Camera 数据的滤镜
- OpenGL 针对 Android 提供了扩展采样器专门采集 Camera 的数据
#extension GL_OES_EGL_image_external : require
precision mediump float;
//采样点的坐标 由顶点采样器传递过来
varying vec2 aCoord;
//color 输入 samplerExternalOES 针对按安卓摄像头定制的采样器
uniform samplerExternalOES vTexture;
void main(){
// 倒 的 正的
//变量 接收像素值
// texture2D：采样器 采集 aCoord的像素
//赋值给 gl_FragColor 就可以了
gl_FragColor =texture2D(vTexture,aCoord);
}
// 把顶点坐标给这个变量， 确定要画画的形状
attribute vec4 vPosition;
//vPosition 4 顶点
//接收纹理坐标，接收采样器采样图片的坐标
attribute vec4 vCoord;
//接收摄像头传递过来的数据
uniform mat4 vMatrix;
// x y z 向量
// x y
//传给片元着色器 像素点 0 0 1 0
varying vec2 aCoord;
void main(){
//内置变量 gl_Position ,我们把顶点数据赋值给这个变量 opengl就知道它要画什么形状了
gl_Position = vPosition;
aCoord = (vMatrix*vCoord).xy;
}
//主要是获取摄像头 数据 并且 创建FBO 在FBO中添加特效
public class CameraFilter extends AbstractFilter {
// FBO 就是一个int类型的数组，负责缓存数据的
int[] mFrameBuffer;
// 纹理
int[] mFrameBufferTextures;
private float[] matrix;
public CameraFilter(Context context) {
super(context, R.raw.camera_vertex, R.raw.camera_frag);
}
// 坐标转换
@Override
protected void initCoordinate() {
mTextureBuffer.clear();
//摄像头是颠倒的 原始坐标 摄像头是颠倒的（90度） + 镜像
// 怎么样修复
/**
* 修复代码
*/
float[] TEXTURE = {
0.0f, 0.0f,// 左上
0.0f, 1.0f,// 右上
1.0f, 0.0f,// 左下
1.0f, 1.0f//右下
};
mTextureBuffer.put(TEXTURE);
}
@Override
public void onReady(int width, int height) {
super.onReady(width, height);
mFrameBuffer = new int[1];
// 通过 OpenGL 创建 FBO 缓冲区
GLES20.glGenFramebuffers(1, mFrameBuffer, 0);
//实例化一个纹理 让纹理和FBO进行绑定 可以操作纹理
mFrameBufferTextures = new int[1];
OpenGLUtils.glGenTextures(mFrameBufferTextures);
// 将纹理绑定
GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, mFrameBufferTextures[0]);
// 将纹理进行绑定
GLES20.glBindFramebuffer(GLES20.GL_FRAMEBUFFER, mFrameBuffer[0]);
// 设置纹理显示纤细 宽度高度 pixels 代表是否需要自己传入像素，
// 我们使用 SurfaceTexture 直接传入摄像头数据到 OpenGL 中
GLES20.glTexImage2D(GLES20.GL_TEXTURE_2D, 0, GLES20.GL_RGBA, mWidth, mHeight, 0,
GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, null);
// 将纹理 与 FBO 进行关联 后续可以直接操作纹理数据 不需要再使用 FBO 的数据了
GLES20.glFramebufferTexture2D(GLES20.GL_FRAMEBUFFER, GLES20.GL_COLOR_ATTACHMENT0,
GLES20.GL_TEXTURE_2D,
mFrameBufferTextures[0], 0);
// 解绑
GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, 0);
GLES20.glBindFramebuffer(GLES20.GL_FRAMEBUFFER, 0);
}
// 重写 onDrawFrame 将这个滤镜处理好的特效交给下一个滤镜
@Override
public int onDrawFrame(int textureId) {
//设置显示窗口
GLES20.glViewport(0, 0, mWidth, mHeight);
//不调用的话就是默认的操作glsurfaceview中的纹理了。显示到屏幕上了
//这里我们还只是把它画到fbo中(缓存)
GLES20.glBindFramebuffer(GLES20.GL_FRAMEBUFFER, mFrameBuffer[0]);
//使用着色器
GLES20.glUseProgram(mProgram);
mVertexBuffer.position(0);
GLES20.glVertexAttribPointer(vPosition, 2, GLES20.GL_FLOAT, false, 0, mVertexBuffer);
GLES20.glEnableVertexAttribArray(vPosition);
mTextureBuffer.position(0);
GLES20.glVertexAttribPointer(vCoord, 2, GLES20.GL_FLOAT, false, 0, mTextureBuffer);
GLES20.glEnableVertexAttribArray(vCoord);
//将java 的矩阵传递给 OpenGL 的矩阵。 变换矩阵
GLES20.glUniformMatrix4fv(vMatrix, 1, false, matrix, 0);
//激活我们的纹理
GLES20.glActiveTexture(GLES20.GL_TEXTURE);
// 因为这个滤镜使用的是摄像头数据，不是 OpenGL 的纹理，采样器需要特殊指定
GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, textureId);
GLES20.glUniform1i(vTexture, 0);
// 绘制
GLES20.glDrawArrays(GLES20.GL_TRIANGLE_STRIP, 0, 4);
// 解绑
GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, 0);
GLES20.glBindFramebuffer(GLES20.GL_FRAMEBUFFER, 0);
return mFrameBufferTextures[0];
}
public void setMatrix(float[] mtx) {
this.matrix = mtx;
}
}
三、在 Render 里面使用滤镜
@Override
public void onDrawFrame(GL10 gl) {
// 摄像头获取一帧数据 会回调此方法
GLES20.glClearColor(0, 0, 0, 0);
// 执行清空
GLES20.glClear(GLES20.GL_COLOR_BUFFER_BIT);
mSurfaceTexture.updateTexImage();
mSurfaceTexture.getTransformMatrix(mtx);
mCameraFilter.setMatrix(mtx);
// 这里第一个滤镜处理完以后，会返回一个新的纹理内存的地址，把这个地址交给下一个滤镜
int id = mCameraFilter.onDrawFrame(mTextures[0]);
// id ==效果1.onDrawFrame(id); 帽子
// id ==效果2.onDrawFrame(id); 眼镜
// id ==效果2.onDrawFrame(id); 大耳朵
// mScreenFilter 将最终的特效运用到SurfaceView中
mScreenFilter.onDrawFrame(id);
}
