Non-local Neural Networks

1 文章说明

方向：基础网络

会议：CVPR2018

1 CNN是建立在local neighborhood上的，即CNN是基于二维网格的，不能建立long-range dependencies

2 对于序列数据，recurrent operations是建立long-range dependencies的主流方法。其存在着计算效率低，优化困难和难以建立反复关系等缺点

本文提出的no-local模块具有的优点：

1 显示建立long-range dependencies

2 计算效率高

3 即插即用

主要公式

其中 $C(x)为归一化参数，f(x_i,x_j)表示特征x_i和x_j之间的权重(相似程度，亲和程度),g(x_j)表示x_j对x_j的关联特征$ 。

为了计算方便，将 $g(x)$ 表示为：

下一步就是确定 $f(x)$ :

文中使用的 $f(x)$ 有：

（1）Gaussian

（2）Embedded Gaussian

（3）Dot product

（4）Concatenation

其计算流程或者结构设计图如图1所示：

图1 提出的no-local结构

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

赞1赞

赞赏

手机看全文