CNN（循环卷积神经网络）

这篇博客是看微软亚洲研究院的王井东讲解CNN做的笔记，图片居多。30分钟的视频，我看+写用了2个小时，可以说干货满满。适合已经对机器学习，CNN有一定了解的人，但对于CNN实践环节还不太清楚或者是想对最新的研究情况做进一步跟踪。

视频资源见链接：https://v.qq.com/x/page/s05667eq28w.html

视频主要从四个部分讲述CNN：卷积神经网络的基本架构、神经网络的组成、如何学习神经网络以及神经网络的最新的进展

1.卷积神经网络的基本架构

从一个例子进行说明：首先图像会经过第一个卷积层，然后得到四个通道，接着经过非线性的激活函数，得到新的四个卷积层，再通过pooling层，将通道map的大小降到一半，此时经过一个卷积层，可将4个通道变为8个通道，再经过非线性激活函数，得到新的8个通道，再经历一个全局的pooling过程，把8个map变成8维的向量，最后经过一个全连接层，最终可以得到分数。如果在分类中就可以给出各类的分数。

如下图所示：

2.神经网络的组成

1.卷积层

卷积层依赖卷积操作，在二维空间中，进行翻转平移操作。下面是连续卷积和离散卷积的两种形式的表达式。此外计算机视觉中，卷积一般用互相关DNN来代替，卷积的翻转在NN网络中并没有很多的用途。右图是一个图像与一个3*3 的kernel卷积的结果。在这里给出四个通道的例子，每个位置取出一个tensor，于是得到的tensor大小是3*3*4，然后经过一个同样大小的filter，会得到一个新的response，每个位置都做一下，就能得到一个新的map，于是4个filter就能得到4个通道map。

接下来就是具体计算，输入的矩阵（在计算中图像的存储方式是3维矩阵，这里用单维的矩阵表示）与kernel做卷积操作时，计算的结果是对应位置的相乘后相加，这里的例子是a*w+b*x+e*y+f*z，a和w是对应位置，然后kernel一次对应位置相乘的结果相加。这里可以注意到输入是一个4*3的矩阵，kernel是一个2*2 的矩阵时，得到循环卷积的结果是3*2的矩阵。

如下图所示：