Unsupervised Learning of Depth and Ego-motion from Video
——CVPR 2017
作者：Google zhoutinghui
github: https://github.com/tinghuiz/SfMLearner
参考：
论文笔记-深度估计(6)-Unsupervised Learning of Depth and Ego-Motion from Video
深度学习SLAM结合之google开源SFMLearner论文详解-Unsupervised Learning of Depth and Ego-Motion from Video
sfm-learner学习心得
- 基本认识
- 训练出3个网络：depth、pose、explainability
-
重要概念：target view、source views
- 技术要点
-
网络样子：
-
supervision pipeline:
用depth和pose网络分别输出的predicted D和T，弄出一个Loss
-
双线性插值、warping：对于target图中的某位置pt，用predicted D 和 T，算出该点对应到source图中是在ps这个位置（因为不一定是在整像素点，所以需要用双线性插值算出该ps点在source上的真实像素值）。对于所有target和source对，对于每个source中的每个像素点，计算像素值之差的和：
-
（1）考虑到环境不理想的情况（运动物体、相机运动模糊）：
加一个置信参数：
但这样的话minimize loss就直接让E为0就可以了。为了避免这种现象，最终的loss要加一个关于E的项，to encourage nonzero predictions by 最小化每个像素点与1之间的交叉熵损失。
（2）
