在研发滤镜相机过程中、图形处理是必备技能之一。对iOS开发来讲、确实是不小的挑战。
在研发的过程,首先是通过AVFondation自定义相机,然后滤镜处理通过大名鼎鼎的GPUImage
提供的自定义滤镜来说实现的方案,了解GPUImage
的库的都知道,它本身提供了自定义相机,而我忽略使用的主要目的是想真正使用一次AVFondation
,我们知道在传统项目中几乎不用不到它。大概流程图如下:
iOS 相机的 buffer
是指相机在捕捉图像时所产生的一段数据缓冲区。这个缓冲区包含了从相机传感器捕获的原始图像数据,这种数据通常是未经过像素处理的,可以包含完整的相机拍照信息,比如曝光、对比度、白平衡等。在 iOS 开发中,sample buffer
是一种常见的形式,它包含一系列的图像缓冲区( plane buffer
),这些缓冲区组合在一起构成了一帧完整的图像。
这样实现的缺陷非常明显:
1 预览和处理相机output完全独立,消耗性能,手机发热严重,还出现闪退。
2 合成视频和LivePhoto非常慢,LivePhoto需要5-8s,视频30s视频需要10s左右,单张图片速度正常,如果只是图片,这个方案还是可以接受的。
要彻底解决这些问题,就要实现如下流程呢才行:
首先想到的还是GPUImage
, GPUImage
有3个版本,目前只有GPUImage3作者还在维护,但它是基于Metal
的,剩余2个版本选择,GPUImage1 是基于OpenGLES2 ,它最稳定,至于GPUImage2 ,swift 3.x开发,太老了。GPUImage
很明显已经不是最优选择了,只能作为参考。
所以要想彻底解决这个,不考虑Metal
情况下,必须要学习OpenGL
,期初只是看文档,根本上无法真正掌握OpenGL
的核心技能,比如shader、glsl的编译等,现在只能硬着头皮上了。参考优秀文档:https://learnopengl-cn.github.io/01%20Getting%20started/02%20Creating%20a%20window/
搭建一个mac的OpenGL
的环境
一 GLFW
1.1 构建glfw
https://www.glfw.org/download.html 下载Source package
1.2 下载cmake 下载地址(https://cmake.org/download/) 选择mac版本的
config 选择xcode
进行配置,遇到的问题解决办法参考:
https://stackoverflow.com/questions/47443018/cmake-error-in-configuration-process-project-files-may-be-invalid-visual-studi
https://blog.csdn.net/Lesen14/article/details/129348204
1.3 点击Generate(生成)
1.4 用xcode打开Generate生成的Xcode工程,command + b 之后生成一个macos的libglfw3.a!!!
1.3 用Xcode 创建第一个opengl工程
首先本地生成libs和include文件 然后在Xcode的BulidSetings找到 Header Search Paths 和 Library Search Paths 分别配置libaries libs和include的路径。
这样终于.a链接成功了, #include <GLFW/glfw3.h>就不会 file not found
啦
工程采用 Objective-C
,对C
,还得是 Objective-C
啊!
二 配置GLAD
1 在线配置Glad
2下载并解压 glad.zip,得到的glad和KHR 放到本地配置的include文件下,并把并添加glad.c文件到你的工程中。 引入#include <glad/glad.h>
这样环境搭建好了,可以用Xcode 入坑啦!!!