Stacked Hourglass 论文：Stacked Hourglass Networks for Human Pose Estimation
Stacked Hourglass 为 Hourglass 网络结构的延伸。论文中的网络被用于人体位姿关键点预测，直观上一个关键点的位置应该和其它关键点相关，所以 Stacked Hourglass 的设计思路是：网络不同的输出之间能够显式地相互影响。它的思想可以应用于许多图到图的预测网络中。
Stacked Hourglass 的成功证明，重复的 top-down，bottom-up 处理，以及中继监督策略对于网络的性能有着很关键的提升。
人体位姿预测
在人体位姿预测中，一个重要的过程是预测每个人体关键点的位置：输出它们在像素等级上的准确位置。
一个优秀的人体位姿预测系统，需要对图像的变形、遮挡、出界等问题表现出鲁棒性，并且在比较奇葩的姿势上也能有好的效果，需要与其它外在因素——如衣着、光线等——无关。
输出设计
Stacked Hourglass 网络的最终输出为一组 heatmap，它的每个维度对应一个人体关键点，每个维度上的个个像素值表示了该关键点位于这个像素处的概率。很明显，这需要一个能够进行 pixel-to-pixel 预测的网络来实现。
Hourglass
一些网络采用多 pipeline 的结构以处理不同尺度上的特征（如YOLO2），在这种结构下，不同尺度上的特征是互不相关的。
Hourglass（沙漏网络结构）被设计以用来捕捉图像在不同尺度等级上的特征，但它在各尺度上的特征是相关的，它通过跳线的方式来结合不同尺度上的特征。
一阶 Hourglass：图中浅绿色的圆角矩形为余差块。特征图输入两个支路。上面一个支路正常提取特征；下面一个支路先做下采样（Pooling）将特征图尺度减小到一半，再提取特征，再做上采样（可以用反卷积，也可以用插值法上采样等，论文中采用临近插值）恢复特征图原大小。最后这两个支路在 Channel 上连接（论文中采用的是每个元素直接相加）到一起。通过一阶Hourglass，相当于在两个不同的尺度上提取了特征图信息。
注意图中被虚线框起来的地方，此时里面是一个余差块。
二阶 Hourglass：将一阶 Hourglass 中虚线部分替换为另一个一阶 Hourglass，即构成二阶 Hourglass。可见，二阶 Hourglass 能够在三个不同的尺度上提取特征图信息。
以此类推，能得到任意阶数的 Hourglass 结构。注意不论 Hourglass 的阶数为多少，它都被看作是一个单个的 Hourglass。
设计细节
Stacked Hourglass 论文中所有的 Hourglass 都采用四阶，也就是说，网络能够考虑到四个不同尺度上的特征，且特征图最小会变成原始尺寸的 1/8（所以输入图像的尺寸最好应能够被 8 整除）。在每个 Hourglass 的输出处，都加了两个 1×1 的卷积层，以预测人体关键点的一组 heatmap。网络的其它部分采用的卷积核大小统一为 3×3。余差块结构如下图所示。
在输入图像（256×256）输入 Hourglass 之前，先通过带 stride 的卷积，和池化操作，下采样到（64×64）。这么做的原因是，不下采样的话 GPU 内存不够用。可见在 Hourglass 的大量并行通路下，其缺点在于庞大的运算开销。
Stacked Hourglass
单个 Hourglass 能够做到提取特征图在不同尺度上的信息，但是仍然不能在预测时（显式地）考虑不同关键点之间的关系。所以才需要进一步设计 Stacked Hourglass。
中继监督
中继监督的思想在更早的网络里就已经被提出了。GoogLeNet V1 就在网络中部和中后部额外设置了全连接层分类支路，和最终的输出一样，这些支路对 Loss 有一定的贡献。当时的想法是，由于深层网络的多次下采样操作，一定尺度上的特征信息会丢失，所以才设计了这些中继监督位点。与 Stacked Hourglass 不同，GoogLeNet 中的这些中继监督位点的输出并没有再返回网络里。
Stacked Hourglass 的堆叠结构和中继监督
Stacked Hourglass 将总共 8 个 Hourglass 首尾相连。在每个 Hourglass 末尾的第一个 1×1 卷积层后，分支出一个用于 heatmap 预测的 1×1 卷积层（下图中蓝色部分），此处可以与 Ground Truth 进行比较，并得到一个 Loss 。之后，预测结果会被重新通过 1×1 卷积，将维度调整到和中间特征相同，然后与中间特征按元素相加。
按元素相加虽然直观上看比较奇怪，但实际上，concatenate到一起之后，再通过一次卷积降维，那次卷积的最后其实也是按元素相加的操作。所以这里直接按元素相加，可以当作之前的卷积层已经得到了可相加的特征，这并没有什么不妥。
直观上，将中继监督点的输出重新返回网络中，起到了一种“让网络对当前的特征和预测结果进行再评估”的作用。通过重复地将多个 Hourglass 和中继监督串联，网络能够显式地学习每个预测目标之间的关系，越靠后的预测越能够结合所有关键点的位置信息，做出更准确的关键点位置预测。有了这种特性，网络就基本不会预测出一些从解剖学上不成立的人体姿势。
这个堆叠结构是 Stacked Hourglass 的主要创新点。提出的思路也很直接：首先需要加入中继监督进行中间的预测，但是如果只有一个 Hourglass，中继监督放哪里比较好？放到前端考虑不到全局信息，放到后面又没有机会进行再评估。喔，不如多来几个 Hourglass 串联在一起，每个 Hourglass 的输出处设一个中继监督吧。
训练细节
训练集
训练集使用了 FLIC 和 MPII Human Pose 两个训练集内的样本。MPII 的样本中有可能有很多人存在，但 Stacked Hourglass 网络被用于预测单个人物的关键点，这通过在 MPII 的训练集中，只取最靠中间的任务的关键点作为样本来实现。所有训练集均被裁剪、变形至 256×256 尺寸。
注：涉及到多个人物的关键点预测，最好采用 Mask R-CNN 的 pipeline。
数据增强
随机对样本做了 ±30° 以内的旋转，和 ±25% 幅度的缩放。没有做平移，因为网络需要预测在图像正中间的人物。
损失函数
每个关键点的 Ground Truth 定义为以该关键点为峰值位置的 2D 高斯函数。Loss Function 定义为 Ground Truth 与预测得到的 heatmap 之间的均方误差。
