相机模型

0. 写在前面

在3dmm中，重要的一步是对3d模型进行拍照。

这里引出问题：怎么给3d模型拍照？

下面先解决这个拍照问题。

1. 相机模型

本节目标：

理解针孔相机的模型，内参与径向畸变参数。
理解一个空间点是如何投影到相机成像。

我们知道：
一张照片（二维）：由多个像素组成，每个像素记录了色彩或亮度的信息。
一个物体（三维世界）：物体反射或发出的光线，通过相机光心后，投影到相机的成像平面。

相机将三维世界中的坐标点（单位米）映射到二维图像平面（单位像素）的过程能够用一个几何模型进行描述。

这个模型有很多种，其中最简单的为针孔模型。事实上，真实的相机镜头是透镜，会使得光线投影到成像平面的过程会产生畸变。

那么总结一下，所谓相机模型实际是是：针孔相机模型+畸变模型。

在3dmm中我们暂不考虑畸变模型。

1.1 针孔相机模型 (Pinhole camera)

小孔成像.png

在小孔成像过程中，小孔模型将三维世界中的蜡烛投影到一个二维成像平面。

首先我们要先认识一下4种坐标：

世界坐标 (World reference system)
相机坐标 (camera coordinate)
归一化相机坐标 (normalized coordinate)
像素坐标 (pixel coordinate)

image.png

我们来品一下这张图><。

世界坐标 是我们客观存在的世界，它有自己的固有坐标。在这里我们定义三维空间的三个方向分别为: $x_w, y_w, z_w$
例子：
例子1: 长城。它就存在在那里，有它自己的坐标。
例子2: 3d模型。3d模型在计算机中是以点的坐标来存储的，这个坐标代表点在 $x_w, y_w, z_w$ 三个方向上的大小，比如一个点 $B$ ，它的存储形式是 $(12, 15, 18)$ 。这样的点有 $n$ 个，在3dmm中实际上有53215个这样的三维点，这些点组成了基本的人脸3d模型。
相机坐标 是从相机的角度去看世界，相机本身是这个坐标系的原点。
在这里我们定义在这个角度的三维空间的三个方向分别为:
$x_c, y_c, z_c$
例子：
例子1: 小时候我总觉得门前的山特别高，后来长大之后回到老地方，发现这个山也没那么高嘛。山变了吗？山没变，是我看山的角度变了。
例子2: 正所谓【横看成岭侧成峰】，说的也是这回事。
归一化相机坐标 物理成像平面。在这里我们可以定义三维空间的三个方向分别为: $x_n, y_n, z_n$
原点 $\acute O$ 是相机坐标的 $z_c$ 轴与物理成像平面的交点。一般取 $z_n$ 的方向与 $z_c$ 方向相同，将点 $P$ 在针孔相机模型到物理成像平面的距离统一为 $z_n = f$ ，其中 $f$ 为焦距，这就相当于对相机坐标进行归一化。
像素坐标 水平方向是U，垂直方向是V，通过这个平面的，二维的UV坐标系。我们可以定位图象上的任意一个像素。

image.png

注意这里的像素坐标的单位是像素，而上述3个坐标系的单位为米。
在这里我们定义二维空间的二个方向分别为: $u, v$

1.2 计算过程

image.png

================== 计算过程（1）从世界坐标到相机坐标 ==================

已知我们有一个点 $P$ ，它的世界坐标（我们常说的坐标）为:
$P_w =\begin{bmatrix} x_w \\ y_w \\ z_w \end{bmatrix}$

这个点 $P$ ，它在相机视角下的坐标为：
$P_c=\begin{bmatrix} x_c \\ y_c \\ z_c \end{bmatrix}$

我们知道 $P_w$ 和 $P_c$ 是同一点在不同坐标系下的表达方式，那么 $P_w$ 和 $P_c$ 之间是什么关系呢？

$P_w$ $\underrightarrow{旋转变换+平移变换}$ $P_c$

这里需要引入一下齐次坐标的概念。

齐次坐标就是将一个原本是n维的向量用一个n+1维向量来表示，是指一个用于投影几何里的坐标系统，如同用于欧氏几何里的笛卡儿坐标一般。

比如从欧式坐标变换到齐次坐标时，即 $欧式坐标\rightarrow 齐次坐标$ ：
$(x, y) = \begin{bmatrix} x \\ y\\ z\\\end{bmatrix}$
$(x, y, z) =\begin{bmatrix} x \\ y\\ z\\ 1 \\\end{bmatrix}$
从齐次坐标变换到欧式坐标时，即 $齐次坐标 \rightarrow 欧式坐标$ ：

$\begin{bmatrix} x \\ y\\ w\\ \end{bmatrix} = (\frac{x}{w}, \frac{y}{w})$ $\begin{bmatrix} x \\ y\\ z\\ w \\ \end{bmatrix} = (\frac{x}{w}, \frac{y}{w},\frac{z}{w})$

接下来回到 $P_w$ $\underrightarrow{旋转变换+平移变换}$ $P_c$ 的变换。
(1)旋转变换

$R_x(\alpha) = \begin{bmatrix}\ 1 & 0 &0 \\ 0 & \cos \alpha & -\sin \alpha \\ 0 &\sin \alpha &\cos \alpha \\ \end{bmatrix}$
$R_y(\beta) = \begin{bmatrix}\ \cos \beta& 0 & \sin \beta\\ 0 & 1 & 0 \\ - \sin \beta& 0 & \cos \beta\\ \end{bmatrix}$
$R_x(\gamma) = \begin{bmatrix}\cos \gamma & -\sin \gamma & 0\\ \sin \gamma & \cos \gamma & 0 \\ 0 & 0 & 1 \\ \end{bmatrix}$

此时：
$R = R_x(\alpha) R_y(\beta) R_x(\gamma)$

(2)平移变换
$T = \begin{bmatrix} T_x \\ T_y\\ T_z\\ \end{bmatrix}$

结合（1）（2），那么对于点 $P$ :

$P_{hc} = \begin{bmatrix} x_c \\ y_c\\ z_c\\ 1 \\ \end{bmatrix} = \begin{bmatrix} R& T \\ 0 & 1 \\ \end{bmatrix}_{4\times4} \begin{bmatrix} x_w \\ y_w\\ z_w\\ 1\end{bmatrix} _{4\times1 } = \begin{bmatrix} R& T \\ 0 & 1 \\\end{bmatrix}_{4\times4} P_{hw}$

================== 计算过程（2）从相机坐标到像素坐标 ==================

由图可知：

image.png

$△O \acute O \acute P$ 与 $△O \acute P\acute {\acute P}$ 相似，那么对于点 $P$ 在相机坐标下的表示 $P_c = \begin{bmatrix} x_c \\ y_c\\ z_c \end{bmatrix}$ 及在归一化相机坐标系里的表现 $P_n =\begin{bmatrix} x_n \\ y_n\\ z_n \end{bmatrix}$ , （ $z_n = f$ ）：
$x_n = f \frac{x_c}{z_c}$ $y_n = f \frac{y_c}{z_c}$

接下来要从归一化相机坐标系继续变换到像素坐标系，归一化相机坐标系与像素坐标系之间，相差了一个缩放和原点的平移。

我们设像素坐标在 $u$ 轴上缩放了 $\alpha$ 倍，在 $v$ 轴上缩放了 $\beta$ 倍。同时，原点平移了 $\begin{bmatrix} c_x \\ c_y \end{bmatrix}$ ，那么像素坐标系下的 $P_{uv}$ 与归一化相机坐标系下的 $P_n$ 的关系为：
$u = \alpha x_n + c_x = \alpha f \frac{x_c}{z_c} + c_x$ $v = \beta y_n+ c_y =\beta f \frac{y_c}{z_c} + c_y$
我们设 $\alpha f = f_x$ , $\beta f = f_y$ ,得到：
$u = f_x \frac{x_c}{z_c} + c_x$ $v = f_y\frac{y_c}{z_c} + c_y$

上述内容总结一下，用齐次坐标来表示：
$P_{huv} = \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \begin{bmatrix} {f_x \frac{x_c}{z_c} + c_x} \\ f_y\frac{y_c}{z_c} + c_y \\ 1 \end{bmatrix}$
因为齐次坐标乘以非零常数后表达相同含义：

$\begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \begin{bmatrix} {f_x \frac{x_c}{z_c} + c_x} \\ f_y\frac{y_c}{z_c} + c_y \\ 1 \end{bmatrix} = \begin{bmatrix} f_x x_c + c_x z_c \\ f_y y_c + c_y z_c\\ z_c \end{bmatrix}$ $= \begin{bmatrix} f_x & 0 &c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1\end{bmatrix}\begin{bmatrix} x_c \\ y_c \\ z_c \end{bmatrix}$

回忆一下的（1）部分的结果：
$P_{hc} = \begin{bmatrix} x_c \\ y_c\\ z_c\\ 1 \\ \end{bmatrix} = \begin{bmatrix} R& T \\ 0 & 1 \\ \end{bmatrix}_{4\times4} \begin{bmatrix} x_w \\ y_w\\ z_w\\ 1\end{bmatrix} _{4\times1 } = \begin{bmatrix} R& T \\ 0 & 1 \\\end{bmatrix}_{4\times4} P_{hw}$

这里的 $P_{ch}$ 是 $P_c$ 齐次坐标，为了将这一部分带入 $\begin{bmatrix} u \\ v \\ 1 \end{bmatrix}$ ,
$\begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \begin{bmatrix} {f_x \frac{x_c}{z_c} + c_x} \\ f_y\frac{y_c}{z_c} + c_y \\ 1 \end{bmatrix}$
$= \begin{bmatrix} f_x x_c + c_x z_c \\ f_y y_c + c_y z_c\\ z_c \end{bmatrix}$
$= \begin{bmatrix} f_x & 0 &c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1\end{bmatrix}\begin{bmatrix} x_c \\ y_c \\ z_c \end{bmatrix}$
$\,\,\,\,\,\, \,\,\,\,\,\,\, \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\uparrow$
我们称这个矩阵为内部参数 $K$ ，

$=\begin{bmatrix} f_x & 0 &c_x & 0\\ 0 & f_y & c_y & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix}_{3 \times 4} \begin{bmatrix} x_c \\ y_c \\ z_c \\ 1 \end{bmatrix}_{4 \times 1}$
$\,\,\,\,\,\, \,\,\,\,\,\,\, \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\uparrow\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, \,\ \,\,\, \,\,\,\,\,\,\,\,\,\,\uparrow$
这可以写作 $K\begin{bmatrix} I & 0 \end{bmatrix}\$ $\,\,\,\,\,\, \,\,\,\,\,\,\,\,\,$ 是不是很眼熟，这不是 $P_c$ 的齐次坐标嘛！

$= \begin{bmatrix} f_x & 0 &c_x & 0 \\ 0 & f_y & c_y & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix}_{3 \times 4} \begin{bmatrix} R& T \\ 0 & 1 \\ \end{bmatrix}_{4\times4} \begin{bmatrix} x_w \\ y_w\\ z_w\\ 1 \end{bmatrix} _{4\times1 }$

$=K\begin{bmatrix} I & 0 \end{bmatrix} \begin{bmatrix} R& T \\ 0 & 1 \\\end{bmatrix}P_{hw}$

$=K\begin{bmatrix} R & T \end{bmatrix} P_{hw}$

============================== 总结 ==============================

$\begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \begin{bmatrix} f_x & 0 &c_x & 0\\ 0 & f_y & c_y & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix}_{3 \times 4} \begin{bmatrix} R& T \\ 0 & 1 \\\end{bmatrix}_{4\times4} \begin{bmatrix} x_w \\ y_w\\ z_w\\ 1\end{bmatrix} _{4\times1 }$

即：
$P_{huv} = K\begin{bmatrix} R & T \end{bmatrix} P_{hw}$

当我们有一个3d模型的n个点的三维坐标，可以通过这个变换得到它的照片。

2. 例子 + 代码

比如我们提到的点 $B$ ，它的世界坐标是 $(12, 15, 18)$ 。

================== 计算过程（1）从世界坐标到相机坐标 ==================
(1)旋转变换

此时：
$R = R_x(\alpha) R_y(\beta) R_x(\gamma)$

def angle2matrix(angles):
    
    ''' 
    根据右手系三个旋转角，
    得到三个旋转矩阵。
    Args:
        angles: [3,]. x, y, z angles
        x: pitch. positive for looking down.
        y: yaw. positive for looking left. 
        z: roll. positive for tilting head right. 
    Returns:
        R: [3, 3]. rotation matrix.
    
    '''
    
    #np.deg2rad将角度变为弧度pi
    x, y, z = np.deg2rad(angles[0]), np.deg2rad(angles[1]), np.deg2rad(angles[2])
    # x
    Rx=np.array([[1,      0,       0],
                 [0, cos(x),  -sin(x)],
                 [0, sin(x),   cos(x)]])
    # y
    Ry=np.array([[ cos(y), 0, sin(y)],
                 [      0, 1,      0],
                 [-sin(y), 0, cos(y)]])
    # z
    Rz=np.array([[cos(z), -sin(z), 0],
                 [sin(z),  cos(z), 0],
                 [     0,       0, 1]])
    
    R=Rz.dot(Ry.dot(Rx))
    return R.astype(np.float32)

(2)平移变换
$T = \begin{bmatrix} T_x \\ T_y\\ T_z\\ \end{bmatrix}$

结合（1）（2），那么对于点 $P$ :
$P_{hc} = \begin{bmatrix} x_c \\ y_c\\ z_c\\ 1 \\ \end{bmatrix} = \begin{bmatrix} R& T \\ 0 & 1 \\ \end{bmatrix}_{4\times4} \begin{bmatrix} x_w \\ y_w\\ z_w\\ 1\end{bmatrix} _{4\times1 } = \begin{bmatrix} R& T \\ 0 & 1 \\\end{bmatrix}_{4\times4} P_{hw}$

def similarity_transform(vertices, s, R, t3d):
    ''' similarity transform. dof = 7.
    3D: s*R.dot(X) + t
    Homo: M = [[sR, t],[0^T, 1]].  M.dot(X)
    Args:(float32)
        vertices: [nver, 3]. 
        s: [1,]. scale factor.
        R: [3,3]. rotation matrix.
        t3d: [3,]. 3d translation vector.
    Returns:
        transformed vertices: [nver, 3]
    '''
    t3d = np.squeeze(np.array(t3d, dtype = np.float32))
    transformed_vertices = s * vertices.dot(R.T) + t3d[np.newaxis, :]

    return transformed_vertices

值得注意的是：函数angle2matrix(angles)中从世界坐标到相机坐标的计算并没有用到齐次坐标。只在欧式坐标下计算，
$P_c = R_{3 \times 3} \begin{bmatrix} x_w \\ y_w \\ z_w \end{bmatrix} + \begin{bmatrix} T_x \\ T_y \\ T_z \end{bmatrix}$ 这并没有关系，因为齐次坐标和非齐次坐标本质上并没有区别:
$P_{hc} = \begin{bmatrix} x_c \\ y_c\\ z_c\\ 1 \\ \end{bmatrix} \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, \, P_c = \begin{bmatrix} x_c \\ y_c\\ z_c\ \end{bmatrix}$ 只要在用的时候区分开就好。

我们之所以引入齐次坐标是为了直接计算 $P_{huv} = K\begin{bmatrix} R & T \end{bmatrix} P_{hw}$ 。

================== 计算过程（2）从相机坐标到像素坐标 ==================

我们已经知道：

$\begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \begin{bmatrix} f_x & 0 &c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1\end{bmatrix}\begin{bmatrix} x_c \\ y_c \\ z_c \end{bmatrix}$

还原一下这个过程，相机坐标 $\rightarrow$ 归一化相机坐标 $\rightarrow$ 像素坐标。

（2.1）相机坐标 $\rightarrow$ 归一化相机坐标
$z_n = f$ $x_n = f \frac{x_c}{z_c}$ $y_n = f \frac{y_c}{z_c}$

我们可以假设物品的深度，远远小于物体与相机间的距离，比如两个点 $i,j$ ，两个点的 $z_c$ 方向坐标 $z_i \approx z_j$ ，此时我们可以直接删去 $z_c$ 方向坐标，且归一化时我们取 $f = 1$ :
$z_n = f = 1$ $x_n = x_c$ $y_n = y_c$
这样的映射也称为平行映射(orthographic project).

def orthographic_project(vertices):
    return vertices.copy()

这里虽然保留 $z_c$ ，其实我们只取 $x_c, y_c$ 。

(2.2) 归一化相机坐标 $\rightarrow$ 像素坐标

取归一化相机坐标 $\rightarrow$ 像素坐标时无缩放，归一化相机坐标的圆心 $\acute O$ 落在像素为 $(w,h)$ 的2d照片的中心，此时 $\acute O$ 在像素坐标系下的坐标为 $(w/2, h/2)$

那么对于点 $B$ :

$u = f_x \frac{x_c}{z_c} + c_x = x_c + w/2$ $v = f_y\frac{y_c}{z_c} + c_y = -y_c + h/2 - 1$

def to_image(vertices, h, w):
    ''' 
    Args:
        vertices: [nver, 3]
        h: height of the rendering
        w : width of the rendering
    Returns:
        projected_vertices: [nver, 3]  
    '''
    image_vertices = vertices.copy()

    # move to center of image
    image_vertices[:,0] = image_vertices[:,0] + w/2
    image_vertices[:,1] = image_vertices[:,1] + h/2
    # flip vertices along y-axis.
    image_vertices[:,1] = h - image_vertices[:,1] - 1
    return image_vertices

至此，得到三维点 $B$ 在照片里的像素坐标。

最后编辑于：2019.07.09 14:44:49

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,189评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,577评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 150,857评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,703评论 1赞 276
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,705评论 5赞 366
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,620评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,995评论 3赞 396
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,656评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,898评论 1赞 298
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,639评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,720评论 1赞 330
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,395评论 4赞 319
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,982评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,953评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,195评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 44,907评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,472评论 2赞 342

相机模型

0. 写在前面

1. 相机模型

1.1 针孔相机模型 (Pinhole camera)

1.2 计算过程

2. 例子 + 代码

推荐阅读更多精彩内容