当前位置:   article > 正文

卷积神经网络_卷积神经网络谁发明

卷积神经网络谁发明

简而言之,卷积神经网络(Convolutional Neural Networks)是一种深度学习模型或类似于人工神经网络的多层感知器,常用来分析视觉图像。卷积神经网络的创始人是着名的计算机科学家Yann LeCun,目前在Facebook工作,他是第一个通过卷积神经网络在MNIST数据集上解决手写数字问题的人。

如上图所示,卷积神经网络架构与常规人工神经网络架构非常相似,特别是在网络的最后一层,即全连接。此外,还注意到卷积神经网络能够接受多个特征图作为输入,而不是向量。

二、卷积网络的层级结构

一个卷积神经网络主要由以下5层组成:

  • 数据输入层/ Input layer
  • 卷积计算层/ CONV layer
  • ReLU激励层 / ReLU layer
  • 池化层 / Pooling layer
  • 全连接层 / FC layer

1. 数据输入层

该层要做的处理主要是对原始图像数据进行预处理,其中包括:

  • 去均值:把输入数据各个维度都中心化为0,如下图所示,其目的就是把样本的中心拉回到坐标系原点上。
  • 归一化:幅度归一化到同样的范围,如下所示,即减少各维度数据取值范围的差异而带来的干扰,比如,我们有两个维度的特征A和B,A范围是0到10,而B范围是0到10000,如果直接使用这两个特征是有问题的,好的做法就是归一化,即A和B的数据都变为0到1的范围。
  • PCA/白化:用PCA降维;白化是对数据各个特征轴上的幅度归一化

2. 卷积计算层

这一层就是卷积神经网络最重要的一个层次,也是“卷积神经网络”的名字来源。
在这个卷积层,有两个关键操作:

  • 局部关联。每个神经元看做一个滤波器(filter)
  • 窗口(receptive field)滑动, filter对局部数据计算

先介绍卷积层遇到的几个名词:

  • 深度/depth(解释见下图)
  • 步幅/stride (窗口一次滑动的长度)
  • 填充值/zero-padding

使用卷积神经网络可大大降低参数量:共享参数机制、多种池化方法

平移不变性 不管检测对象出现在图像中的哪个位置,神经网络的前面几层都应该对相同的图像区域具有相似的反应。

局部性 神经网络的前面几层应该只探索输入图像中的局部区域,而不过度在意图像中相隔较远的区域的关系。

卷积层将输入和卷积核进行交叉相关,加上偏移后得到输出 核矩阵和偏移是可学习的参数 核矩阵的大小是超参数

填充:在输入周围添加额外的行 / 列

填充p_ℎ行和p_w列,则输出为:(n_ℎ−k_ℎ+p_ℎ+1)×(n_w−k_w+p_w+1)

通常取p_ℎ=k_ℎ−1     p_w=k_w−1

通常填充元素是0

步幅是指行/列的滑动步长

总结:填充和步幅可以改变输出的高度和宽度 填充在输入周围添加额外的行/列,增加输出的高度和宽度 步幅是每次滑动核窗口时的行/列的步长,可以成倍的减少输出形状 填充和步幅可用于有效地调整数据的维度。

LeNet 架构

总体来看,LeNet(LeNet-5)由两个部分组成: • 卷积编码器:由两个卷积层组成; • 全连接层密集块:由三个全连接层组成; 每个卷积层使⽤5×5卷积核和一个sigmoid激活函数。

总结:• AlexNet的架构与LeNet相似,但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。 • 今天,AlexNet已经被更有效的架构所超越,但它是从浅层⽹络到深层网络的关键一步。 • 新加入了Dropout、ReLU、最大池化层和数据增强

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/秋刀鱼在做梦/article/detail/846633
推荐阅读
相关标签
  

闽ICP备14008679号