CXK:“影分身之术”python实现电影特效,律师函警告!

今天来实现一个更加复杂的特效“影分身”。下面有请我们本场的主演,坤制作人为我们表演他拿手的鸡你太美。

二、实现原理

首先我们要准备一个视频,作为我们的素材。然后我们要逐帧提取视频中的图像,接下来我们利用paddlehub逐帧抠取人像。这样就有了我们的主体,和分身了。最后我们需要在写入视频的时候对图像进行处理,我直接在原图像上粘贴了两个人物分身,最后合成的视频效果就是上面的效果了。当然我们还需要添加音频,所以最后我们需要读取音频并将新视频同音频混流。我们将整个过程分为以下几个步骤:

逐帧提取图像

批量抠图

合成图像(影分身)

写入视频

读取音频

混流

最终我们就能实现一个完整的视频了。

三、模块安装

为了方便,我们全都使用pip安装:

pip install pillow

pip install opencv-python

pip install moviepy

# 安装paddlepaddle

python -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple

# 安装paddlehub

pip install -i https://mirror.baidu.com/pypi/simple paddlehub

也就不废话了,如果安装过程中出了什么问题可以自行百度或者联系博主,我会尽量解答的,毕竟我也只是个菜鸡。

四、代码实现

我们先看看导入的一些模块:

import cv2

import math

import numpy as np

from PIL import Image

import paddlehub as hub

from moviepy.editor import *

我们按照上面的步骤,一步一步来。

4.1、逐帧提取图像

这就需要使用到我们的opencv了,具体代码如下:

def getFrame(video_name, save_path):

"""

传入视频名称,将图像帧保存到save_path下

"""

# 读取视频

    video = cv2.VideoCapture(video_name)

    # 获取视频帧率

    fps = video.get(cv2.CAP_PROP_FPS)

    # 获取画面大小

    width = int(video.get(cv2.CAP_PROP_FRAME_WIDTH))

    height = int(video.get(cv2.CAP_PROP_FRAME_HEIGHT))

    size = (width, height)

    # 获取帧数

    frame_num = str(video.get(7))

    name = int(math.pow(10, len(frame_num)))

    ret, frame = video.read()

    while ret:

        cv2.imwrite(save_path + str(name) + '.jpg', frame)

        ret, frame = video.read()

        name += 1

    video.release()

    return fps, size

这里我们只需要注意OpenCV版本需要在3.0以上,如果是低版本的话会出现兼容问题。

4.2、批量抠图

批量抠图需要使用到我们的paddhub模型库,而抠图的实现也只需要几行代码:

def getHumanseg(frames):

    """

对frames路径下所以图片进行抠图

    """

    # 加载模型库

    humanseg = hub.Module(name='deeplabv3p_xception65_humanseg')

    # 遍历路径下文件

    files = [frames + i for i in os.listdir(frames)]

    # 抠图

    humanseg.segmentation(data={'image': files})

我们调用该方法后会在目录下生成humanseg_output目录,抠好的图像就在里面。

4.3、合成图像(影分身)

这里需要使用到我们的Pillow模块,该模块中提供了图像粘贴的函数:

def setImageBg(humanseg, bg_im):

    """

    将抠好的图和背景图片合并

    :param humanseg:

    :param bg_im:

    :return:

    """

    # 读取透明图片

    im = Image.open(humanseg)

    # 分离色道

    r, g, b, a = im.split()

    # 在图片右边粘贴一个人物分身

    bg_im.paste(im, (bg_im.size[0]//3, 0), mask=a)

    # 在图片左边粘贴一个人物分身

    bg_im.paste(im, (-bg_im.size[0]//3, 0), mask=a)

    # 将图形转换成opencv能正常读取的类型,并返回

    return np.array(bg_im.convert('RGB'))[:, :, ::-1]

上面主要就是使用paste函数。

4.4、写入视频

写入视频的操作同样是OpenCV来实现的:

def writeVideo(humanseg_path, frames, fps, size):

    """

传入抠好的人像,和原图像,以及原视频帧率,大小,写入新视频

    """

    # 写入视频

    fourcc = cv2.VideoWriter_fourcc(*'mp4v')

    out = cv2.VideoWriter('green.mp4', fourcc, fps, size)

    # 将每一帧设置背景

    humanseg = [humanseg_path + i for i in os.listdir(humanseg_path)]

    frames = [frames + i for i in os.listdir(frames)]

    for i in range(humanseg.__len__()):

# 读取原图像

        bg_im = Image.open(frames[i])

# 设置分身

        im_array = setImageBg(humanseg[i], bg_im)

        # 写入视频

        out.write(im_array)

    out.release()

到这里我们就实现了一个视频,但是现在还没有声音,接下来就需要我们用moviepy进行音频的混流了。

4.5、混流

我们混流的操作就是先获取音频,然后再混流,而音频我们只需要读取原视频的音频即可:

def getMusic(video_name):

    """

    获取指定视频的音频

    """

    # 读取视频文件

    video = VideoFileClip(video_name)

    # 返回音频

    return video.audio

其中VideoFileClip是moviepy中的一个视频处理的类。下面我们来添加音乐:

def addMusic(video_name, audio):

    """实现混流,给video_name添加音频"""

    # 读取视频

    video = VideoFileClip(video_name)

    # 设置视频的音频

    video = video.set_audio(audio)

    # 保存新的视频文件

    video.write_videofile(output_video)

output_video是我们自己定义的一个存放文件保存路径的变量,需要注意,该全路径(路径+名称)不能和原视频相同。

4.6、实现特效

也就是将整个流程整合到一起:

def changeVideoScene(video_name):

    """

    :param video_name: 视频的文件

    :param bgname: 背景图片

    :return:

    """

    # 读取视频中每一帧画面

    fps, size = getFrame(video_name, frames)

    # 批量抠图

    getHumanseg(frames)

    # 将画面一帧帧写入视频

    writeVideo(humanseg_path, frames, fps, size)

    # 混流

    addMusic('green.mp4', getMusic(video_name))

在上面有些变量我们还没有定义,我们在main函数中定义一下:

if __name__ == '__main__':

    # 当前项目根目录

    BASE_DIR = os.path.abspath(os.path.join(os.path.dirname(__file__), "."))

    # 每一帧画面保存的地址

    frames = BASE_DIR + '\\frames\\'

    # 抠好的图片位置

    humanseg_path = BASE_DIR + '\\humanseg_output\\'

    # 最终视频的保存路径

    output_video = BASE_DIR + '\\result.mp4'

    # 创建文件夹

    if not os.path.exists(frames):

        os.makedirs(frames)

    if not os.path.exists(background_path):

        os.makedirs(background_path)

    # 给视频添加特效

  changeVideoScene('jntm.mp4')

这样就实现了我们完整的特效。

呸!ikun警告,好想上庭。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,504评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,434评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,089评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,378评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,472评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,506评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,519评论 3 413
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,292评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,738评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,022评论 2 329
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,194评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,873评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,536评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,162评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,413评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,075评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,080评论 2 352