基于肤色保护的自然饱和度增强算法

饱和度增强指的是通过调整图片和视频画面的饱和度特性,使得画面色彩得以还原真实色彩更加逼真或相比原画面更加丰富,从而提升人的视觉主观感受。对视频图像等后处理具有重要的意义。

1. 饱和度

饱和度是指色彩的鲜艳程度,也称色彩的纯度。

饱和度取决于该色中含色成分和消色成分(灰色)的比例。含色成分越大,饱和度越大;消色成分越大,饱和度越小。

其中,HSV模式中饱和度(Saturation)的计算公式(基于RGB色彩通道):

hsv.sat=\frac{max(r,g,b)-min(r,g,b)}{min(r,g,b)}

饱和度也可定义为彩度除以明度,与彩度同样表征彩色偏离同亮度灰色的程度。计算公式如下:

sat(r,g,b)=max(\frac{(r,g,b)-gray}{1-gray},\frac{gray-(r,g,b)}{gray})
sat=max(sat(r,g,b))

2. 自然饱和度增强模型

有了前面对饱和度的定义和计算公式,我们知道当拿到当前任意一个像素点,我们知道如何获取这个像素点的饱和度。

接下来,我们的目标是,对饱和度进行增强调节,首先,给出定义饱和度增强的数学模型,如下:

color=rgb+f(sat)\cdot(rgb-gray)
以上公式关键有2点:

(1) 利用了第1节中关于彩度定义中,彩色偏离灰色的程度,我们对饱和度增强就是在加大这个偏离程度。

(2) 通过什么样的数学模型表征这个偏离程度,线性模型还是非线性模型。如果使用线性,可能会存在对一些色彩过度增强导致色偏。

基于以上第2点,自然饱和度(Vibrance)的概念早已被提出。在调整自然饱和度时,会自适应提升画面中即饱和度低的颜色,而使原本饱和度够的颜色保持原状。自然饱和度的概念最先由 photoshop 提出,重点在于适应性,自然饱和度调整后一般比直接饱和度调整要更自然。

如何实现自然饱和度,这个时候主要看上面公式中f(k)如何定义。本文提出一种简化的基于Gamma曲线的自然饱和度数学模型:

f(sat)=k(1-sat)^{l}

其中,sat的计算由第一节两个饱和度计算公式的出。
该数学模型的曲线如下图:


image.png

从以上曲线看出,该模型根据当前像素点的饱和度,很好地自适应调整了对应的饱和度系数。饱和度越高的点,增强效果越弱,饱和度越低的点,增强效果越强。

3. 肤色保护模型

在短视频或直播视频中,人像作为画面的主要内容的场景频率较高,以上的自然饱和度模型并没有考虑肤色情况,如果不加区别进行调节,可能会导致人像肤色偏红失真。因此,我们需要针对肤色区域进行识别,并对肤色区域做特殊处理,进而减轻饱和度的调整强度。

此时,新的饱和度增强模型更新为,其中,skin(rgb)代表肤色模型:
color=rgb+skin(rgb)\cdot{f(sat)\cdot(rgb-gray)}

常用的肤色模型,包括基于RGB,YCrCb,YCgCr,HSV等色彩模型。针对肤色识别,已经有很多文章,本文限于章节内容,不做具体介绍。可以参考文献[1];

以上每一种模型都有自己的局限性,无法保证各种场景有100%的正确肤色识别正确率,和错判为肤色误判率。比如,RGB彩色模型受亮度影响较大;以上模型基本模型都有一个一个共同特征,按照区别判断,比如,以常用的YCrCb为例,可能的肤色区别为(最好根据自己的数据源调整范围):
\left\{ \begin{aligned} 133 \leq C_r <173\\ 77 \leq C_b < 127 \end{aligned} \right.
直接应用以上数学模型判断,会导致二值效应,即强烈的边际效应。所以改进的模型,可以基于YCrCb椭圆模型,使得skin(C_r,C_b)的输出改为连续的函数,调整后的模型如下,表示的含义是,离肤色中心点越接近,值越接近1,即代表为肤色的概率越高,否则,越远离肤色点,表示为肤色的概率越低。从而保证,skin(C_r,C_b)的输出是连续的。
skin(C_r,C_b)=1 - k\cdot{({\frac{(C_r-C_{r0})^2}{a^2}+\frac{(C_b-C_{b0})^2}{b^2}})}\\
其中,C_rmax,C_bmax代表阀值上界,C_rmin,C_bmin代表阀值下界:
a=\frac{{C_{rmax}-C_{rmin}}}{2}\\
b=\frac{{C_{bmax}-C_{bmin}}}{2}\\
C_{r0}=\frac{{C_{rmax}+C_{rmax}}}{2}\\
C_{b0}=\frac{{C_{bmax}+C_{bmax}}}{2}\\
经以上优化后,新的模型为:
color=rgb+(1-skin(C_r,C_b))\cdot{f(sat)\cdot(rgb-gray)}
其中,(C_r,C_b)根据RGB计算得到。

参考文献:

[1]Human Skin Detection Using RGB, HSV and YCbCr Color Models

喜欢的话,记得帮忙点赞

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
禁止转载,如需转载请通过简信或评论联系作者。
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,258评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,335评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,225评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,126评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,140评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,098评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,018评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,857评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,298评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,518评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,678评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,400评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,993评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,638评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,801评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,661评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,558评论 2 352

推荐阅读更多精彩内容