对极几何(Epipolar geometry)

定义：c1为坐标原点,当作相机的起始位置

$d_{1}\mu_{1}=KP$
$d_{2}\mu_{2}=K(RP+t)$
其中 $\mu_1, \mu_2$ 为图像中的像素坐标， $[R,t ]$ 是相机的旋转和位移矩阵， $d_1,d_2$ 对应像素坐标点的深度

当深度为1时定义归一化平面为： $x_{1}=K^{-1} \mu_{1}$ , $x_{2}=K^{-1} \mu_{2}$

1.epipolar constrant

$d_{1}K^{-1}\mu_{1}=P \\ d_{2}K^{-1}\mu_{2}=RP+t$

$d_{1}x_{1}=P \\ d_{2}x_{2}=RP+t$

$d_{2}x_{2}=R(d_{1}x_{1})+t$
等式两边同时叉乘t:
$t×d_2x_2=t×R(d_1x_1)+t× d_{2}x_{2}=t \times R(d_{1}x_{1})+t \times t$

$t \times d_{2}x_{2}=t \times R(d_{1}x_{1})+0$
等式两边点乘 $x_2$

$x_{2}^{T}t \times d_{2}x_{2}=x_{2}^{T} t \times R(d_{1}x_{1}) \\ 0=x_{2}^{T}t \times R(d_{1}x_{1}) \\ x_{2}^{T}t^{\land} Rx_{1}=0$

对极约束条件：
$\mu_{2}^{T}{K^{-1}}^{T}t^{\land} R K^{-1} \mu_{1}=0$

定义：

本质矩阵： $E=t\times R$
基础矩阵： $F={K^{-1}}^{T}t^{\land} R K^{-1}$

2. 求解本质矩阵

$x_{2}^{T}Ex_{1}=0$
设： $x_{1}=[x1,y1,1]$ , $x_{2}^{T}=[x2,y2,1]$
则：
$0 = [x2,y2,1]\left[ \matrix{ e_{1} & e_{2} & e_{3}\\ e_{4} & e_{5} &e_{6}\\ e_{7} & e_{8} &e_{9} } \right] \left[ \matrix {x1 \\ y1 \\1}\right]$
展开：
$x1x2e_{1}+y1x2e_{2}+x2e_{3}+x1y2e_{4}+y1y2e_{5}+y2e_{6}+x1e_{7}+y1e_{8}+e_{9}=0 \\$

记： $z^{T}=[x1x2,y1x2,x2,x1y2,y1y2,y2,x1,y1,1]$ , $e=[e_{1},e_{2},e_{3},e_{4},e_{5},e_{6},e_{7},e_{8},e_{9}]$

采用8个对应点，就能解这个线性方程，采用SVD分解求的 $e$ :
$z^{T}e=0$

3.从本质矩阵恢复 $R,t$

$E=t^{\land} R =U \Sigma V^T=[\mu_{0},\mu_{1},\mu_{2}] \left[ \matrix{s &0&0 \\0&s&0\\0&0&0}\right]\left[ \matrix{\nu_{0}^{T} \\\nu_{1}^{T}\\\nu_{2}^{T}}\right]$

$W=\left[ \matrix{0 &-1&0 \\1&0&0\\0&0&1}\right]$

$t^{\land} R=UW\Sigma U^{T}UW^{-1}V^{T}=U\Sigma V^{T}=E$

补充： $a=[\alpha_{1},\alpha_{2},\alpha_{3}]$ ,
$a的反对称阵：a^{\land}=\left[\matrix{ 0&-\alpha_{3}&\alpha_{2}\\\alpha_{3}&0&-\alpha_{1}\\ -\alpha_{2} & \alpha_{1}&0}\right]$

从 $t^{\land} R=UW\Sigma U^{T}UW^{-1}V^{T}=U\Sigma V^{T}=E$ 中：
$t^{\land} = UW\Sigma U^T \\ R=UW^{-1}V^T$