物点与像点间的坐标变换

首先直观感受:

我们当前所处的世界是三维的空间
图像是三维世界的场景在相机成像平面的投影

然后定量建立如下坐标系:

世界坐标系（三维）: $x_W, y_W, z_W$ ; 单位是毫米
相机坐标系（三维）: $x_C, y_C, z_C$ , 原点与相机光学中心重合, z 轴与光轴重合; 单位是毫米
图像坐标系（二维）: $x,y$ , 原点为相机光轴与成像平面的交点，是图像的中心点; 单位是毫米
像素坐标系（二维）: $u,v$ , 原点在左上角, 单位为像素

世界坐标系到相机坐标系的转换

世界坐标系 通过 Rigid Transform (刚体变换: 旋转和平移) 得到 相机坐标系

$\begin{bmatrix} x_C \\ y_C \\ z_C \end{bmatrix}_{3\times 1} = R_{3\times 3} \begin{bmatrix} x_W \\ y_W \\ z_W \end{bmatrix}_{3\times 1} + T_{3\times 1}$

$\begin{bmatrix} x_C \\ y_C \\ z_C \end{bmatrix}_{3\times 1} = \begin{bmatrix} R_{3\times 3} | T_{3\times 1} \end{bmatrix}_{3\times 4} \begin{bmatrix} x_W \\ y_W \\ z_W \\ 1 \end{bmatrix}_{4\times 1}$

$\begin{bmatrix} x_C \\ y_C \\ z_C \\ 1 \end{bmatrix} = \begin{bmatrix} R_{11} & R_{12} & R_{13} & T_x \\ R_{21} & R_{22} & R_{23} & T_y \\ R_{31} & R_{32} & R_{33} & T_z \\ 0 & 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} x_W \\ y_W \\ z_W \\ 1 \end{bmatrix}$

$\begin{bmatrix} x_C \\ y_C \\ z_C \\ 1 \end{bmatrix} = \begin{bmatrix} R_{3\times 3} & T_{3\times 1} \\ 0_{1\times 3} & 1 \end{bmatrix} \begin{bmatrix} x_W \\ y_W \\ z_W \\ 1 \end{bmatrix}$

其中 $R$ 为三维旋转矩阵, $T$ 为三维平移向量

Camera Calibration 中所说的外参，也即此处的 $R$ 和 $T$

此转换所描述的即为相机在三维空间的运动

相机坐标系到图像坐标系的转换

相机坐标系通过 Perspective Transform (成像模型中的相似三角形原理) 得到图像坐标系

$\left\{\begin{aligned} x &= \frac{f\cdot x_C}{z_C} \\ y &= \frac{f\cdot y_C}{z_C} \end{aligned}\right.$

$z_C \begin{bmatrix} x \\ y \\ 1 \end{bmatrix} = \begin{bmatrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix} x_C \\ y_C \\ z_C \\ 1 \end{bmatrix}$

$f$ 为相机焦距

值得注意的是，当前成像系统往往是透镜成像而非小孔成像，透镜的形状很难完全规则，因而成像效果可能存在不同程度的畸变

图像坐标系到像素坐标系的转换

图像坐标系通过Affine Transform (缩放和平移) 得到像素坐标系

$\left\{\begin{aligned} u &= \frac{1}{\text{d}x}x+ u_0 \\ v &= \frac{1}{\text{d}y} y+v_0 \end{aligned}\right.$

$\begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \begin{bmatrix} \frac{1}{\mathrm{d}x} & 0 & u_0 \\ 0 & \frac{1}{\mathrm{d}y} & v_0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} x \\ y \\ 1 \end{bmatrix}$

其中 $u_0,v_0$ 表示图像中心像素坐标， $\text{d}x,\text{d}y$ 表示水平和垂直方向每个像素分别对应多少毫米

总结：世界坐标系到像素坐标系

$z_C \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \begin{bmatrix} \frac{1}{\mathrm{d}x} & 0 & u_0 \\ 0 & \frac{1}{\mathrm{d}y} & v_0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix} R_{11} & R_{12} & R_{13} & \mathbf{T}_x \\ R_{21} & R_{22} & R_{23} & \mathbf{T}_y \\ R_{31} & R_{32} & R_{33} & \mathbf{T}_z \\ 0 & 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} x_W \\ y_W \\ z_W \\ 1 \end{bmatrix}$

$z_C \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \begin{bmatrix} \frac{f}{\mathrm{d}x} & 0 & u_0 & 0 \\ 0 & \frac{f}{\mathrm{d}y} & v_0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix} R_{11} & R_{12} & R_{13} & \mathbf{T}_x \\ R_{21} & R_{22} & R_{23} & \mathbf{T}_y \\ R_{31} & R_{32} & R_{33} & \mathbf{T}_z \\ 0 & 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} x_W \\ y_W \\ z_W \\ 1 \end{bmatrix}$

$z_C \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \begin{bmatrix}\frac{R_{11} f}{dx} + R_{31} u_{0} & \frac{R_{12} f}{dx} + R_{32} u_{0} & \frac{R_{13} f}{dx} + R_{33} u_{0} & \frac{Tx f}{dx} + Tz u_{0}\\\frac{R_{21} f}{dy} + R_{31} v_{0} & \frac{R_{22} f}{dy} + R_{32} v_{0} & \frac{R_{23} f}{dy} + R_{33} v_{0} & \frac{Ty f}{dy} + Tz v_{0}\\R_{31} & R_{32} & R_{33} & Tz\end{bmatrix} \begin{bmatrix} x_W \\ y_W \\ z_W \\ 1 \end{bmatrix}$

$z_C \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = M_{3\times 4} \begin{bmatrix} x_W \\ y_W \\ z_W \\ 1 \end{bmatrix} = \begin{bmatrix} M_{11} & M_{12} & M_{13} & M_{14} \\ M_{21} & M_{22} & M_{23} & M_{24} \\ M_{31} & M_{32} & M_{33} & M_{34} \end{bmatrix} \begin{bmatrix} x_W \\ y_W \\ z_W \\ 1 \end{bmatrix}$

当世界坐标和像素坐标都已确定，可以求解 M 矩阵

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 220,492评论 6赞 513
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 94,048评论 3赞 396
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 166,927评论 0赞 358
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 59,293评论 1赞 295
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 68,309评论 6赞 397
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 52,024评论 1赞 308
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,638评论 3赞 420
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,546评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 46,073评论 1赞 319
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 38,188评论 3赞 340
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 40,321评论 1赞 352
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,998评论 5赞 347
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,678评论 3赞 331
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 32,186评论 0赞 23
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,303评论 1赞 272
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,663评论 3赞 375
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 45,330评论 2赞 358

物点与像点间的坐标变换

世界坐标系到相机坐标系的转换

相机坐标系到图像坐标系的转换

图像坐标系到像素坐标系的转换

总结：世界坐标系到像素坐标系

推荐阅读更多精彩内容