使用zoom预览出图和系统相机预览出图,画质不一样的问题分析

1、问题背景

最近在基于 Android 的平台调试一款摄像头,客户有反馈一个问题,系统自带的 Camera2 app 预览出图是正常的,但用 Zoom app 打开摄像头,出图画面存在畸变、锯齿、过曝的问题,现象如下图所示。

2、问题分析

这里是存在3个问题,畸变、锯齿、过曝,我们依次来做分析。

a、关于畸变

首先我们是针对不同分辨率下做过畸变校正的,预览、录像、拍照分别对应的是三路流,出不同的分辨率。预览是1080P、录像是4K、拍照是全尺寸,所以查看一下用 Zoom 出图时此时走的是哪路流,出的分辨率是多少就可以了(我是通过dump 实时的yuv,可以看到输出的yuv的尺寸来确定的)。

有确认到用 Zoom 出图时,出的是 640x480 的分辨率,他是从全尺寸直接 resize 成 640x480 的 ,我们未做过这个分辨率下的畸变校正,所以增加一组 640x480 下的畸变校正参数即可解决。

这里要提一下,关于畸变校正为什么不可以直接在 sensor 出来的原始尺寸上去做,而是要分别基于从原始数据源分出的预览、录像、拍照三路上单独去做呢?如果是基于原始尺寸去校正,那之后的 crop、downscale 就不会存在畸变,也不用单独基于每个分辨率去增加畸变参数那么麻烦了(这里的前提是 sensor 只有一组setting,只有一个数据源输出)。 

1>. 一般关于畸变校正是有单独的一个硬件模块去做处理的,目前我们这个平台 ISP 是直接出三路,没办法在中间先过畸变校正的模块。

2>. 另外一点就是 crop /dowscale 之前做,只适合 1080P 这样的尺寸,尺寸太大了,硬件性能会不够(而对于全尺寸的拍照可以做,是因为拍照只是取视频流中的一帧,录像和预览则是实时的数据流都要处理 )。

b、关于锯齿

锯齿的成因有很多,ISP中调试参数的问题、全尺寸到小尺寸resize的处理、camera apk 的处理等等,可以依次一步一步的 dump 数据进行比较,确认是哪个模块的问题,再去做相应的处理,但首先得了解这个视频出流的 pipeline, 都经过了哪些模块,才好去做排查。

但我这里的问题是 Zoom 预览出图是 640x480, 而系统相机 Camera2 预览出图是 1920x1080,这就没啥可比性了, 要用更少的像素来显示同样数据的场景,小分辨率下肯定是会锯齿比较明显,所以这里是正常现象,如果是同分辨率下,存在锯齿的差异,那就要去按出流的 pipeline 去排查原因了。

c、关于过曝

同样的我们要判断 Zoom 出图时走的是哪路流,然后是哪个模块导致的,是 Zoom app 类似自带的美颜效果处理导致的、还是 ISP 当中哪个模块调试参数导致的、还是从全尺寸 resize 到 640x480 的处理导致的。

1>. 首先通过指令确认 Zoom 和系统相机预览时,走的是否是同一路,确认结果是走的同一路。

2>. 场景亮度不变,在固定AE下,分别 dump camera2 预览的截屏和 yuv,及 zoom 预览的截屏和 yuv 来对比亮度结果。

camera2 预览的截屏和 yuv 亮度是一致的。

zoom 的预览截屏和 yuv 亮度是一致的。

camera2 预览的截屏和 zoom 预览的截屏亮度不一致,zoom 预览画面亮度高。

camera2 预览的 yuv 和 zoom 预览的 yuv 亮度不一致,zoom 预览的 yuv 亮度高。

从上面比较结果可知,app 的表现和 yuv 的一致,那就不是 app 的处理导致。但两个尺寸的 yuv 亮度结果不一致那就需要继续往上排查。

3>. 将 camera2 的预览和拍照,都设置成 640x480 输出,分别 dump 640x480 预览和拍照的 yuv,确认下效果。

结果是拍照的 yuv 亮度正常,预览 yuv 亮度过曝,所以问题就是,在分辨率为640x480下,预览这路有问题。

预览和拍照都用的同一套效果参数,且AE固定,场景不变,且1080P 下的预览效果是正常的,那就不大可能是 ISP 调试参数的问题。

只有可能是预览这路从全尺寸 resize 成 640x480 的处理导致的,最后确认结果确时是 resize 处理相关,调整寄存器参数,更新驱动后解决。

3、问题总结

对于基于Android 平台调试 Camera 来说,客户通常会使用到很多第三方的Camera app, 对于不同app 出图效果不一致的问题,可以参考上述过程来做相应排查。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容