图像抠图去背景技术从传统算法到深度学习到商用


图像去背景(抠图)是图像编辑中的关键技术

图像去背景(抠图)是指准确提取静止图片或者视频图片序列中的前景目标,它是许多图像编辑中的关键技术之一。该技术的研究已经有超过20年的历史。图像去背景的数学定义最早是由国外学者Porter和Duff在1984年提出。他们最先引入透明(alpha)通道的概念用于把前景和背景融合时控制前背景色的线性插值比例。最终,抠图问题就被定义为每一个图片像素估计alpha值(前背景色比例)的任务。在该任务中,输入为原图像,输出将是每个像素点的alpha值。由于已知信息是每个像素点的颜色信息,未知信息为alpha和前景色以及背景色,未知变量个数大于已知变量个数,造成其在数学本质上是约束不足的困难的问题。大多数消光方法都依赖于用户提供指导信息或者先验假设以约束问题而获得良好未知变量的估计值。使用指导信息和先验假设就注定模型的泛化能力弱,在特定条件下预测精度会很差。

三分图(trimap)的概念

要了解抠图技术,首先我们还需要正确区分硬分割(二值化分割)和抠图的区别。硬分割是指把图像简单的区分为前景(1)和背景(0)。而抠图中需要确定前背景色的比例,也就是说对于图像中的半透明区域alpha值是介于0和1之间的连续实数而不是简单的非0即1。介于这个区别,人们提出了一个三分图(trimap)的概念。在Trimap中,确定为前景的区域为1,确定背景的区域为0,而前背景不确定的区域为灰色区域(0.5)。通过Trimap的引导,让抠图任务主要专注于确定灰色区域里的alpha值,让任务变得相对简单。

PicUP.AI

传统的图像去背景技术基于许多基础技术例如颜色采样(如贝叶斯方法)和近邻梯度分析(如波松方法)或者二者融合的技术。近年来,随着深度学习的发展,已经有很多研究工作转向利用深度学习来研究抠图并取得优秀的效果。基于端到端的深度学习模型一方面可以让整个抠图过程完全自动化,而且可以利用大量的数据训练提高模型的泛化能力。PicUP.AI整合了当前最先进的深度学习模型,建立了基于深度卷积网络,多任务统一学习的端到端模型,极大的提高了模型效率。同时,我们在图片特征提取,视野范围设定,无损解码,边缘锐化等技术细节上仔细打磨,模型精度达到世界领先水平的算法。

实测例子


可以看出,不论单人还是多人,近景还是远景,运动还是静止,是否有重叠,背景色是否相近,头发是否清楚,等。都表现不错。

API支持

www.picup.ai

API接口

API代码范例包括:JAVA/PHP/Python/ShellCommand

抠图API的商用标准

抠图算法达到可以商用的标准主要有3点:

1、精确的分割出前景像素与背景像素;

2、分割后的主体或前景部分,边缘过渡效果良好,在新的背景上,视觉上没有违和感;

3、交互少,甚至完全不需要。

然而现在市面上很多应用,在去背景/抠图上,需要客户自行进行涂抹,标记前景背景,基于OpenCV的传统算法或者Shared Sample Alpha Matting,操作成本很高,用户输入前景像素、背景像素的Trimap图作为mask,而且最终效果一般。

开发者应用场景

图像处理中是最常见的工具类应用,iOS 安卓 APP/微信小程序,一抓一大把,因为不论是行业,还是个人,现代生活都离不开图像。而抠图在图像处理里面属于一个底层功能,但是却又不可获取。

比如:

将原始图片中的人像分离出来,选择新的背景图像进行替换、合成,比如换成巴厘岛沙滩,土耳其热气球,巴黎铁塔;

可以对背景进行虚化处理,突出人像,实现大光圈人像拍照效果,给背景添加滤镜、景深模式、背景变黑白等定制化个性服务;

背景风格化,做出彩色玻璃、油画、色块等效果,人就像在画里;人物单独处理的滤镜也不会影响背景;

把主人放到明星照片里面,放到明星身后,就像是和明星合照;

还有证件照换背景色,去掉背景换成白色、蓝色、红色,满足各种证件照需求。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,366评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,521评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,689评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,925评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,942评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,727评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,447评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,349评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,820评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,990评论 3 337
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,127评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,812评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,471评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,017评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,142评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,388评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,066评论 2 355

推荐阅读更多精彩内容