在android和ios上，一直都是系统播放器硬解+opengles shader处理图像显示到屏幕上。渲染部分使用c++实现，2个平台可同一份代码。省心。
最近闲暇之余尝试用metal+swift实现，毕竟metal号称是opengl的10-30倍性能提升。之前没有接触过swift和metal，一边学习swift一边看metal。
Metal 是一个兼顾图形与计算功能的，面向底层、低开销的硬件加速应用程序接口（API），其类似于将 OpenGL 与 OpenCL 的功能集成到了同一个API上，最初支持它的系统是 iOS 8。Metal 使得 iOS 可以实现其他平台的类似功能，例如 Khronos Group 的跨平台 Vulkan 与 Microsoft Windows 上的 Direct3D 12。（来自维基百科）
整体流程：
1、通过AVPlayer解码视频，注册CADisplayLink到当前主循环，每次刷新的时候，会调用CADisplayLink的回调函数。
2、CADisplayLink回调的时间戳与AVPlayerItemVideoOutput的时间戳进行对比，决定是否显示当前视频帧。
3、从AVPlayerItemVideoOutput 复制CVPixelBuffer，并送到metalView渲染显示到屏幕。
4、渲染时，分为2次渲染，第一次渲染将yuv转化成rgb， 第二次渲染用算法对图像进行处理并显示到屏幕。可以选择AVPlayerItemVideoOutput的输出图像格式为rgba，可以省去第一步渲染。
详细流程：
一、播放器部分
播放器不需要添加view layer，我们把图像送到MTKView来显示。
m_displayLink = CADisplayLink(target: self, selector: #selector(displayLinkCallback))
m_displayLink.add(to: .current, forMode: .default)
m_displayLink.isPaused = true
//图像格式
let pixelBufferAttributes = [ kCVPixelBufferPixelFormatTypeKey as String : NSNumber(value: kCVPixelFormatType_420YpCbCr8BiPlanarFullRange)]
m_videoOutput = AVPlayerItemVideoOutput(pixelBufferAttributes: pixelBufferAttributes)
@objc func displayLinkCallback(sender: CADisplayLink){
let nextVSync = sender.timestamp + sender.duration
let outputItemTime = self.m_videoOutput.itemTime(forHostTime: nextVSync)
if(self.m_videoOutput.hasNewPixelBuffer(forItemTime: outputItemTime)){
var pixelBuffer: CVPixelBuffer! = nil
pixelBuffer = self.m_videoOutput.copyPixelBuffer(forItemTime: outputItemTime, itemTimeForDisplay: nil)
//通过代理发送给metalView
self.delegate?.videoBuffer(pixelBuffer)
}
}
二、metal部分
2次渲染封装成2个render，分别进行yuv2rgb、Render3D。
yuv2rgb的结果会存放到一个texture中，作为第二次渲染的输入。
1.MetalView
MetalView继承自MTKView，在storyboard上，对应的view class指向这个这个view。
负责管理metal设备、render等。
//if true, 不会自动调用draw进行刷新，只有在主线程调用setNeedsDisplay()后，才会执行draw
//self.enableSetNeedsDisplay = true
//for compute shader
self.framebufferOnly = false
//self.autoResizeDrawable = false
_metalLayer = self.layer as? CAMetalLayer
device = MTLCreateSystemDefaultDevice()
commandQueue = device?.makeCommandQueue()
2.yuv2rgb
创建顶点buffer、纹理坐标buffer、颜色转换矩阵，load shader都是标准流程。关键点在创建RenderPassDescriptor,设置一个我们创建的纹理，渲染的结果会存到这个纹理中。
_rgbTexture = device!.makeTexture(descriptor: descriptor)
_rgbDescriptor = MTLRenderPassDescriptor()
_rgbDescriptor.colorAttachments[0].texture = _rgbTexture
shader部分就一个yuv转rgb的公式，参数有点问题，颜色微微有点偏红
3.Render3D
交织的时候需要通过纹理的方式传递交织参数，每个像素一个单独参数。这个例子只是用的隔列交织(也可以在shader上直接判断奇偶列来实现)，实际应用中，映射数据非常复杂计算才能得出，通过提前计算存储在硬盘上,具体的涉及到光栅之类的。
通过MTKTextureLoader可以很容易的加载图片或者UIImage到纹理中。但是如果是二进制数据或者一个数组就需要一些额外操作。
var data1 = Array<UInt8>(repeating: 0, count: size)
...
let descriptor = MTLTextureDescriptor.texture2DDescriptor(pixelFormat: .r8Unorm, width: width, height: height, mipmapped: false)
interTexture1 = device?.makeTexture(descriptor: descriptor)
let region = MTLRegionMake2D(0, 0, width, height)
interTexture1?.replace(region: region, mipmapLevel: 0, withBytes: data1, bytesPerRow: width)
通过replace来将数据加载到纹理。不像opengl可以直接加载内存数据到一个空的纹理里面。
shader部分就是一个列交错算法。
工作多年，第一次写这个。
