iOS-CoreImage实现透明视频

整体思路:通过CoreImage处理每一帧图像,通过AVVideoComposition合成视频。


image.png

一、自定义滤镜

1、CIFilter

要对滤镜进行子类化,您需要执行以下任务:

  1. 声明过滤器输入参数的属性。 您必须在每个输入参数名称前添加input,如inputImage。
  2. 如有必要,重写setDefaults方法。(在此示例中没有必要,因为输入参数是设置值。)
  3. 重写outputImage方法。
class AlphaFrameFilter: CIFilter {
    private(set) var inputImage: CIImage?
    private(set) var maskImage: CIImage?
    override var outputImage: CIImage? {
            let filter = CIFilter(name: "CIBlendWithMask")
            let outputExtent = inputImage.extent
            let backgroundImage = CIImage(color: CIColor(string: "0.0 0.0 0.0 0.0")).cropped(to: outputExtent)
            filter.setValue(backgroundImage, forKey: kCIInputBackgroundImageKey)
            filter.setValue(inputImage, forKey: kCIInputImageKey)
            filter.setValue(maskImage, forKey: kCIInputMaskImageKey)
            return filter.outputImage
    }
}

2、CIColorKernel

private static var colorKernel: CIColorKernel? = {
        return CIColorKernel(source: "\n"
            + "kernel vec4 alphaFrame(__sample s, __sample m) {"
            + "    return vec4( s.rgb, m.r );"
            + "}")
    }()
let outputExtent = inputImage.extent
            let arguments = [inputImage, maskImage]
            return colorKernel.apply(extent: outputExtent, arguments: arguments)

3、CIKernel

private static var metalKernel: CIKernel? = {
        do {
            return try CIKernel.kernelByName(functionName: "alphaFrame")
        } catch {
            metalKernelError = error as? AlphaFrameFilter.ErrorType
            return nil
        }
    }()
let outputExtent = inputImage.extent
            let roiCallback: CIKernelROICallback = { _, rect in rect }
            let arguments = [inputImage, maskImage]
            return metalKernel.apply(extent: outputExtent, roiCallback: roiCallback, arguments: arguments)

二、AVVideoComposition合成视频

let playerItem = createTransparentItem(url: itemUrl)
func createTransparentItem(url: NSURL) -> AVPlayerItem {
        let asset = AVAsset(url: url as URL)
        let playerItem = AVPlayerItem(asset: asset)
        playerItem.seekingWaitsForVideoCompositionRendering = true
        playerItem.videoComposition = createVideoComposition(for: asset)
        return playerItem
    }

    func createVideoComposition(for asset: AVAsset) -> AVVideoComposition {
        let filter = AlphaFrameFilter(renderingMode: .colorKernel)
        let composition = AVMutableVideoComposition(asset: asset, applyingCIFiltersWithHandler: { request in
            do {
                let (inputImage, maskImage) = request.sourceImage.verticalSplit()
                let outputImage = try filter.process(inputImage: inputImage, mask: maskImage)
                return request.finish(with: outputImage, context: nil)
            } catch {
                debugPrint("Video composition error")
                return request.finish(with: NSError(domain: "placeholder", code: 0, userInfo: nil))
            }
        })
        composition.renderSize = asset.videoSize.applying(CGAffineTransform(scaleX: 1.0, y: 0.5))
        return composition
    }
extension AVAsset {
    var videoSize: CGSize {
        let videoTracks = tracks(withMediaType: AVMediaType.video)
        return videoTracks.first?.naturalSize ?? .zero
    }
}
extension CIImage {
    typealias VerticalSplit = (topImage: CIImage, bottomImage: CIImage)
    func verticalSplit() -> VerticalSplit {
        let outputExtent = self.extent.applying(CGAffineTransform(scaleX: 1.0, y: 0.5))
        let translate = CGAffineTransform(translationX: 0, y: outputExtent.height)
        let topRegion = outputExtent.applying(translate)
        var topImage = self.cropped(to: topRegion)
        topImage = topImage.transformed(by: translate.inverted())
        let bottomRegion = outputExtent
        let bottomImage = self.cropped(to: bottomRegion)
        return (topImage, bottomImage)
    }
}
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,036评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,046评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,411评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,622评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,661评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,521评论 1 304
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,288评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,200评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,644评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,837评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,953评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,673评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,281评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,889评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,011评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,119评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,901评论 2 355

推荐阅读更多精彩内容