T-Net: Parametrizing Fully Convolutional Nets with a Single High-Order Tensor 笔记

这是 CVPR 2019 的文章

Abstract

最近的发现表明，过度参数化对于成功训练深度神经网络至关重要，同时也引入了大量冗余。

在本文中，我们提出使用单个高阶低秩张量完全参数化卷积神经网络（CNN）。

文章提出通过使用单个高阶张量对其进行参数化来共同捕获神经网络的完整结构，该高阶张量的模式代表网络的每个体系结构设计参数（例如，卷积块的数量，深度，数量堆栈，输入特征等）。这种参数化可以使整个网络规范化，并大大减少参数的数量。

研究了具有丰富结构的网络，即完全卷积网络（FCN），文章建议使用单个8阶张量进行参数化。

Introduction

有证据显示，在这些深度模型成功的背后的重要特征都过度参数化，这能够帮助找到好的局部最小值。

然而，与此同时，过度参数化导致了大量的冗余，并且从统计学的观点看，这很难广义化（因为它大量的参数），并且还增加了储存和计算的难度，使得在计算资源有限制的设备上很难部署。

本文致力于通过张量方法联合参数化整个网络来消除CNN参数冗余。

最近有大量工作使用张量来减少冗余并提高CNN的效率，主要集中在重新参数化各个层上。

这篇论文主要是通过使用单个高阶张量来对整个CNN进行参数化，而不是使用不同的张量来对各个层进行参数化，这与先前的工作有所不同。

特别是，文章提出使用单个高阶张量对网络进行参数化，其每个维度代表网络的不同体系结构设计参数

通过使用单个张量对整个FCN建模，该方法允许学习不同张量维度之间的相关性，从而完全捕获网络的结构。

此外，此参数化通过在该张量上施加低秩结构来隐式调整整个网络并显着减少参数的数量。

本文的贡献是：

提出使用单个高阶张量进行整个网络张量化，并将其应用于捕获完全卷积网络的丰富结构；
对于大范围的压缩率（高压缩率和低压缩率），文中的方法都能保持较高的精度；
通过执行大量的实验和消融研究来解决人体姿势估计这一具有挑战性的任务，从而说明了方法的有利特性。

Related Work

与文章工作更相关的是手工分解方法，例如MobileNet [15]和Xception [8]，它们使用有效的深度和点积卷积来分解3×3卷积。
p.s.（怎么突然感觉之前的MobileNet没有白看，尴尬......）

在这篇文中，之所以选择张量化HourGlass（HG）网络，主要是因为其丰富的结构使其适合使用高阶张量对其进行建模。这项工作的目的不是为了产生人体姿势估计任务的最新结果，而是展示用单个高阶张量建模最新体系结构的好处。

Mathematical background

公式

Tensor diagrams

虽然二阶张量可以很容易地
描述为矩形，将三阶张量描述为立方体，但以这种方式表示高阶张量是不切实际的。

相反，我们使用张量图，它们是无向图，其中顶点表示张量。

每个顶点的度数（即，源自该圆的边数）指定了相应张量的阶数。然后通过简单地将对应于这两种模式的两个边缘链接在一起来表示在两种模式下的张量收缩。

图2用张量图描述了8阶张量的Tucker分解（即，沿每个模态具有因子矩阵的核心张量的收缩）。

图2

T-Net: Fully-tensorized FCN architecture

FCN tensorization

得出拟议的张量网络（T-Net）的高阶张量如下：

网络的所有权重均由单个8阶张量进行参数化 $W\in \mathbb{R}^{I_{0}\times ... \times I_{7}}$ ；
HGs的个数-- $I_{0} = \#hg$ ；
每个HG的深度-- $I_{1}=hg_{depth}$ ；
三种信号途径 $I_{2}=hg_{subnet}$ ；
每个块的卷积层数-- $I_{3}=b_{depth}$ ；
输入特征-- $I_{4} = f_{in}$ ；
输出特征-- $I_{5} = f_{out}$ ；
每个核的高-- $I_{6} = h$ ；
每个核的宽-- $I_{7}=w$

T-Net variants

给以上的参数加上不同的低止约束，得到该方法的不同变体。

Tucker T-Net

公式1

image.png

MPS T-Net

MPS T-Net

图三

Parameter analysis

考虑Tucker-rank- $R_{0},R_{1},...,R_{7}$ ，参数为：

公式2

分别压缩每个 $N_{conv}$ 卷积层，输入输出特征的秩分别是 $R_{4},R_{5}$ ， $N_{conv}=\prod_{k=0}^{4}I_{k}$ ，总共的参数是：

公式3

用同样的 $R_{4},R_{5}$ ，文中的方法的参数是：