小孔成像模型

通过相机拍摄图像可以将3D世界投影到2D图像当中,因此,我们可以把相机模型看作是一个3D空间到2D空间的映射。下面我们介绍最简单的相机模型——小孔成像模型,也是针对普通数字相机最为广泛应用的一种相机模型。

图1. 小孔成像模型。3D点X在图像上的像为连接相机投影中心O和3D点的直线和成像平面Z=f的交点x。

假设相机的投影中心位于一个欧式坐标系的原点\mathbf{O},相机面向z轴正方向,并且成像平面(或者说焦平面)在当前坐标系下的表达为Z=f。那么,在小孔成像模型的作用下下,如图1所示,3D空间中的一个点\mathbf{X} = (X,Y,Z)^T会被投影为成像平面上的一个2D点,也即连接相机投影中心和3D点的直线与成像平面的交点。通过相似三角形,我们可以很容易的看出3D点(X,Y,Z)^T被投影成为成像平面上的(fX/Z,fY/Z,f)^T。暂时先不考虑最终的图像坐标,我们可以看出
\begin{pmatrix} X \\ Y \\ Z \end{pmatrix} \mapsto \begin{pmatrix} fX/Z \\ fY/Z \end{pmatrix} \label{pmapping} 将3D点从三维的欧式空间投影到了2D图像平面,也即二维的欧式空间中。

假如使用严格的齐次坐标进行表述,那么上述投影过程可以表示为以下矩阵相乘的形式,也即公式[1]:
\begin{aligned} \begin{pmatrix} X \\ Y \\ Z \\ 1 \end{pmatrix} \mapsto \begin{pmatrix} fX/Z \\ fY/Z \\ 1 \end{pmatrix} & = \begin{bmatrix} f & 0 & 0 & 0\\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{pmatrix} X \\ Y \\ Z \\ 1 \end{pmatrix} \\ & = \begin{bmatrix} f & 0 & 0\\ 0 & f & 0\\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 & 0\\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{pmatrix} X \\ Y \\ Z \\ 1 \end{pmatrix} \\ & = diag(f,f,1) [\mathbf{I}|\mathbf{0}]\mathbf{X} 。 \end{aligned}
其中\mathbf{P} = [\mathbf{I}|\mathbf{0}]通常被称为相机的投影矩阵。三维点的齐次坐标为(X,Y,Z,1)^T,二维点的齐次坐标为(fX/Z,fY/Z,1)^T,也等价于(fX,fY,Z)^T

图2. 成像平面坐标系。

在上述公式 [1]中假设成像平面的原点为相机的主点位置。然而,实际相机图片的原点往往是图像左上角的点。因此,我们定义主点在图像上的坐标为(p_x,p_y)^T,如图2所示,从而得到
\begin{pmatrix} X \\ Y \\ Z \end{pmatrix} \mapsto \begin{pmatrix} fX/Z+p_x \\ fY/Z+p_y \end{pmatrix} = \begin{pmatrix} u \\ v \end{pmatrix}。

将其表示为齐次坐标的形式,我们可以得到公式[2]
\begin{aligned} \begin{pmatrix} X \\ Y \\ Z \\ 1 \end{pmatrix} \mapsto \begin{pmatrix} fX+Zp_x \\ fY+Zp_y \\ Z \end{pmatrix} & = \begin{bmatrix} f & 0 & p_x & 0\\ 0 & f & p_y & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{pmatrix} X \\ Y \\ Z \\ 1 \end{pmatrix} \\ & = \begin{bmatrix} f & 0 & p_x\\ 0 & f & p_y\\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} 1 & 0 & 0 & 0\\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{pmatrix} X \\ Y \\ Z \\ 1 \end{pmatrix} = \begin{pmatrix} u \\ v \\ 1 \end{pmatrix} 。 \end{aligned}

定义内参矩阵
\mathbf{K} = \begin{bmatrix} f & 0 & p_x\\ 0 & f & p_y\\ 0 & 0 & 1 \end{bmatrix} ,
最终公式[2]可以表达为
\mathbf{x} = \mathbf{K}\mathbf{P}\mathbf{X} = \mathbf{K} [\mathbf{I}|\mathbf{0}]\mathbf{X}。

注意公式[2]其实共包含了两个阶段的坐标变换:

  • 第一个阶段是标准的透视投影过程,也即\mathbf{P}部分。它将3D点(X,Y,Z,1)^T投影成了归一化平面(假设焦距f=1,则为Z=1平面)上的一个2D点(X,Y,Z)^T,也即(X/Z,Y/Z,1)^T
  • 第二个阶段是基于相机内参的变换,即\mathbf{K}部分。它将归一化平面坐标系中的点转化到了以像素为单位的图像坐标系中。

当我们拥有2D点的像素坐标\mathbf{x}以及相机的内参矩阵\mathbf{K}时,可以通过公式
\hat{\mathbf{x}} = \mathbf{K}^{-1}\mathbf{P}\mathbf{X} 得到这个点在归一化平面上的坐标。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,922评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,591评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,546评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,467评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,553评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,580评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,588评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,334评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,780评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,092评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,270评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,925评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,573评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,194评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,437评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,154评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,127评论 2 352

推荐阅读更多精彩内容