当前位置:   article > 正文

前馈神经网络(多层感知机)基础_多层前馈神经网络

多层前馈神经网络

1. 神经网络介绍

神经网络的定义:人工神经网络(Artificial Neural Networks,简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model),它是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。

1.1 神经网络的生物学背景

  • 神经细胞的工作机制
    神经元理论(neurons theory):神经细胞之间是相互独立的,通过某种形式传递信号。

  • 神经元学说
    (1) 神经网络由许多独立的神经细胞个体(“神经元”),通过神经元之间的接触点联接而成;
    (2) 所有神经元都具有不对称的极性结构:一边有一枝很长的“轴突”纤维状突起,另一边有许多“树突”。树突(dendrites) 是接收其他神经元输入信息的结构,而 轴突(axon) 则是神经元将信息传向远方的输出结构;
    (3) 基于神经组织的发育、退化和再生的结构变化,卡哈尔 还首先提出了神经联接的可塑性概念;
    (4) 树突接收信息,触发区整合电位,产生神经冲动,末端的突触为输出区,从而向下一个神经元传递。人脑神经系统包含近860亿个神经元,每个神经元有千个突触(synapse)。


  • 生物神经网络的假定特点:
    (1) 每个神经元都是一个 多输入单输出 的信息处理单元;
    (2) 神经元输入 分 兴奋性输入抑制性输入 两种类型;
    (3) 神经元具有 空间整合特性阈值特性
    (4) 神经元输入与输出间有固定的 时滞,主要取决于突触延搁

1.2 人工神经元与感知机

1943年心理学家 W.S.McCulloch 和 数理逻辑学家 W.Pitts 提出 按照生物神经元的结构和工作原理构造出来的抽象和简化模型—— M-P模型。此类模型通常将神经元形式化为一个「激活函数复合上输入信号加权和」的形式。


M-P 模型接收到来自 n n n 个其他神经元传递过来的输入信号 x i x_i xi,这些输入信号通过带权重的连接 w i w_i wi 进行传递,神经元接收到的总输入值 将与 神经元的阈值 θ \theta θ 进行比较,然后通过激活函数 f f f 处理以产生神经元的输出。即:
f ( ∑ i = 1 n w i x i − θ ) f(\sum^n _{i=1} w_i x_i - \theta ) f(i=1nwixiθ)其中, x i x_i xi 表示来自其他神经元的信号, w i w_i wi 表示对应的连接权重, θ \theta θ 表示神经元的阈值, f f f 表示通常连续可微的激活函数(Activation Function)(或称 转移函数(Transfer Function))。

  • 神经元激活与否取决于阈值水平 θ \theta θ,即只有当其输入总和超过阈值 θ \theta θ 时,神经元才被激活而发放脉冲,否则神经元不会发生输出信号。
  • 当神经元被激活时,称该神经元处于激活状态或兴奋状态,反之称神经元处于抑制状态。

1.3 常用激活函数

1.3.1 线性函数(Linear Function)

f ( x ) = k x + c f(x) = kx + c f(x)=kx+c

1.3.2 斜面函数(Ramp Function)

f ( x ) = { T ,    x > c k x ,    ∣ x ∣ ⩽ c − T ,    x < − c f(x) = {T,x>ckx,|x| f(x)= T,x>ckx,xcT,x<c

1.3.3 阈值函数(Threshold Function)

f ( x ) = { 1 ,    x ⩾ c 0 ,    x < c f(x) = f(x)={1,xc0,x<c

1.3.4 sigmoid函数

Sigmoid函数 是一个在生物学中常见的S型函数,也称为S型生长曲线。在信息科学中,由于其单增以及反函数单增等性质,Sigmoid函数常被用作神经网络的激活函数,将变量映射到0,1之间。

sigmoid函数 也叫 Logistic函数,用于隐层神经元输出,取值范围为(0,1)(0表示“抑制”,1表示“兴奋”),它可以将一个实数映射到(0,1)的区间,可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。Sigmoid作为激活函数有以下优缺点:

  • 优点:平滑、易于求导。
  • 缺点:激活函数计算量大,反向传播求误差梯度时,求导涉及除法;反向传播时,很容易就会出现梯度消失的情况,从而无法完成深层网络的训练。

Sigmoid 函数定义:
S ( x ) = 1 1 + e − x S(x) = \frac{1}{1 + e^{-x}} S(x)=1+ex1
x x x 进行求导:
S ′ ( x ) = e − x ( 1 + e − x ) 2 = S ( x ) ( 1 − S ( x ) ) S'(x) = \frac{e^{-x}}{(1 + e^{-x})^2} = S(x)(1 - S(x)) S(x)=(1+ex)2ex=S(x)(1S(x))
Sigmoid函数的图形:
在这里插入图片描述

1.3.5 双曲正切函数(tanh函数)

t a n h ( x ) = e x − e − x e x + e − x tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} tanh(x)=ex+exexex函数图像为:



sigmoid函数 和 tanh函数 是研究早期被广泛使用的2种激活函数。两者都为S 型饱和函数。 当 sigmoid 函数 输入的值趋于正无穷或负无穷时,梯度会趋近零,从而发生梯度弥散现象。sigmoid函数 的输出恒为正值,不是以零为中心的,这会导致权值更新时只能朝一个方向更新,从而影响收敛速度。tanh 激活函数是 sigmoid 函数的改进版,是以零为中心的对称函数,收敛速度快,不容易出现 loss 值晃动,但是无法解决梯度弥散的问题。2个函数的计算量都是指数级的,计算相对复杂。softsign 函数是 tanh 函数的改进版,为 S 型饱和函数,以零为中心,值域为(−1,1)。

为什么 LR 模型要使用 sigmoid 函数,背后的数学原理是什么?

1.3.6 ReLU (Rectified Linear Regression,整流线性单元)

在现代神经网络中,默认的推荐是使用 由激活函数 g ( z ) = m a x { 0 , z } g(z) = max \{ 0, z \} g(z)=max{0,z} 定义的 整流线性单元 (Rectified Linear Regression) 或者称为 ReLU

通常意义下,线性整流函数指代数学中的斜坡函数,即 f ( x ) = m a x { 0 , x } f(x) = max \{ 0, x \} f(x)=max{0,x}
而在神经网络中,线性整流作为神经元的激活函数,定义了该神经元在线性变换 w T x + b w^Tx + b wTx+b 之后的非线性输出结果。换言之,对于进入神经元的来自上一层神经网络的输入向量 x x x ,使用线性整流激活函数的神经元会输出 m a x ( 0 , w T x + b ) max(0, w^Tx + b) max(0,wTx+b)



2. 单层感知机(单层神经网络,线性回归)

2.1 单层感知机模型

1957年,Frank Rosenblatt 结合 M-P模型Hebb学习规则 发明了 感知机(perceptron),两层神经网络,结构与MP模型类似,一般视为最简单的人工神经网络。

感知机 与 MP模型 的区别:输入不是离散的 0/1,激活函数不一定是 阈值函数。

感知机模型的组织结构如下:


对应的简化图为:

后经进一步的发展、变形,成为现在常用的经典形式,由于只有一层,又被称为 单层感知机。如下:


和M-P模型相比,感知机引入了偏置b。用公式表示为:
f ( x ) = s i g n ( w x + b ) f(x) = sign(wx + b) f(x)=sign(wx+b)其中, s i g n ( x ) sign(x) sign(x) 为激活函数:
s i g n ( x ) = { + 1 ,    x ⩾ 0 − 1 ,    x < 0 sign(x) = sign(x)={+1,x01,x<0分别对应“激活” 和 “抑制” 两种状态。


2.2 感知机的几何解释

由于 w x + b = 0 wx + b = 0 wx+b=0 相当于 n n n 维空间中的一个超平面, w w w 为超平面的法向量, b b b 为超平面的截距, x x x 为空间中的点。

  • x x x 位于超平面的正侧时, w x + b > 0 wx + b > 0 wx+b>0 ,感知机被激活;
  • x x x 位于超平面的负侧时, w x + b < 0 wx + b < 0 wx+b<0 ,感知机被抑制。

所以,从几何的角度来看,感知机就是 n n n 维空间中的一个超平面,它将特征空间分成两部分。


2.3 单层感知机 与 线性分类任务

由于感知机具有的这种分离超平面的特性,常用来对数据进行分类。

首先给定一组训练数据,然后通过训练数据确定模型的参数ω、b,最后用学到的模型预测新数据的类别。

假定给定的训练数据为: T = ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) T = (x_1, y_1), (x_2, y_2), ... , (x_N, y_N) T=(x1,y1),(x2,y2),...,(xN,yN) ,其中, x i ∈ X = R n , y ∈ { + 1 , − 1 } , i = 1 , 2 , . . . , N x_i \in X = R^n, y \in \{ +1, -1 \}, i = 1,2,...,N xiX=Rn,y{+1,1},i=1,2,...,N

学习的目标就是找一个能将训练数据中正负实例都分开的超平面。

求解方法:参数初始化 + 梯度下降法更新

求得的解并不是数学意义上的解析解,而是工程意义上的最优解(不是唯一的,只要得到一个比较好的结果就可以)。



2.4 单层感知机的缺陷

Minsky 在1969年出版 《感知器》书中证明了 Perceptron 无法解决异或问题。




3. 多层感知机(前馈神经网络)

Multi Layer Perception, MLP:在单层神经网络基础上引入一个或多个隐藏层,使网络有多个网络层,被称为 多层感知机,或 前馈神经网络
从理论上说,多层网络可以模拟任何复杂的函数。


从上图可以看到,多层感知机层与层之间是全连接的。多层感知机最底层是输入层,中间是隐藏层,最后是输出层

MLP没有限定隐藏层的数量,对于输出层神经元的个数也没有限制,所以我们可以根据各自的需求选择合适的隐藏层层数。

多层感知机的表达能力:解决了异或问题 (XOR)。




为什么要使用激活函数?

  • 不使用激活函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合。
  • 使用激活函数,能够给神经元引入非线性因素,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以利用到更多的非线性模型中。

激活函数需要具备以下几点性质:

  • 连续并可导(允许少数点上不可导)的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数。
  • 激活函数及其导函数要尽可能的简单,有利于提高网络计算效率。
  • 激活函数的导函数的值域要在一个合适的区间内,不能太大也不能太小,否则会影响训练的效率和稳定性。



4. 反向传播

前面介绍了前馈神经网络,那么问题来了:神经网络该如何进行优化呢?
1986年,Rummelhart 和 McClelland 改进反向传播算法(back propagation, BP) 用于优化神经网络,因此神经网络也常被称为 BP神经网络。

  • 前向传播 (forward propagation) 通过训练数据和权重参数计算输出结果;
  • 反向传播(back propagation) 通过导数链式法则计算损失函数对各参数的梯度,并根据梯度进行参数的更新。

注:反向传播仅指损失函数对参数的梯度通过网络反向流动的过程,但现在也常被理解成神经网络整个的训练方法,由误差传播、参数更新两个环节循环迭代组成。







参考:
[1] 天池课程:深度学习原理与实践
[2] 《深度学习》(花书)
[3] 神经网络学习 之 M-P模型
[4] 神经网络的基础是MP模型?南大周志华组提出新型神经元模型FT
[5] The perceptron: a probabilistic model for information storage and organization in the brain
[6] 机器学习-单层感知机
[7] 多层感知机(MLP)简介
[8] 机器学习基础篇(十二)——多层感知机
[9] 深度学习 | 反向传播详解

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/869271
推荐阅读
相关标签
  

闽ICP备14008679号