当前位置:   article > 正文

Non-local Neural Networks_nonlocal网络

nonlocal网络

1.什么是local和non-local

Local这个词主要是针对感受野来说的。以卷积操作为例,它的感受野大小就是卷积核大小,而我们一般都选用33,55之类的卷积核,它们只考虑局部区域,因此都是local的运算。相反,non-local指的就是感受野可以很大,而不是一个局部领域。

2.为什么需要non-local

卷积层的堆叠可以增大感受野,但是如果看特定层的卷积核在原图上的感受野,它毕竟是有限的。这是local运算不能避免的。然而有些任务,它们可能需要原图上更多的信息。如果在某些层能够引入全局的信息,就能很好地解决local操作无法看清全局的情况,

3.non-local操作举例

全连接就是non-local的,而且是global的。但是全连接的参数量太大,给计算和优化带来困难。

4.non-local运算

在Non-local Neural Networks论文中,为了能够当作一个组件接入到以前的神经网络中,作者设计的non-local操作的输出跟原图大小一致(类似残差操作),公式1
在这里插入图片描述
该公式的含义:输入是x,输出是y,i和j分别代表输入的某个空间位置,x i是一个向量,维数跟x的channel数一样,表示要计算和输出的position,j枚举了所有可能的 position.(该公式的 non-local 特性主要体现在考虑了所有可能的 position (∀j), 而卷积网络只会考虑 output position 周围位置的像素点),f是一个计算任意两点相似关系的函数,g是一个映射函数,将一个点映射成一个向量,可以看成是计算一个点的特征。C(x)的作用是对响应进行归一化.
为了简化问题,作者简单地设置g函数为一个1*1的点卷积。而f函数有多种选择,常用的是:

  • Gaussian在这里插入图片描述
  • Embedded Gaussian: Gaussian 的一种简单扩展
    在这里插入图片描述
    θ(xi)=Wθxi , ϕ(xj)=Wϕxj , 分别为两种 embeddings方法
  • Dot Product:将f定义成点乘,在这里插入图片描述归一化因子在这里插入图片描述N 是 x 中 positions 的数量
  • Concatenation
    在这里插入图片描述

其中[⋅,⋅] 代表拼接(concatenation)操作, wf 代表着将拼接后的向量映射到标量的权重向量。也就相当于embedded的两个点拼接作为带ReLU激活函数全连接层的输入。
归一化因子

本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号