线性神经网络

线性神经网络最典型的例子是自适应线性元件（Adaptive Linear Element, Adaline），20世纪50年代末由Widrow和Hoff提出。线性神经网络的激活函数（或者称为传输函数）是线性函数(Linear，图1)和符号函数(Sgn,图2)，除了产生二值输出以外，还可以产生模拟输出(输出可以为任意值，图3)。线性神经网络采用Widrow-Hoff学习规则，即LMS(Least Mean Square)算法来调整网络的权值和偏置。LMS算法用于训练单层网络，从理论上说，对于每一个多层线性网络，都具有一个等效的单层线性网络与之对应。

 

 图1  线性函数（Linear, y=x, x本身就是神经元输出）

图2  符号函数（Sgn, x大于等于0时，输出1，否则输出-1） 

图3  线性神经网络

假设输入是一个n维向量X=[x1,x2,...,xn]，从输入到神经元的权值为ωi，则该神经元的输出为：

v=∑xiωi+b，i=1、2、…、n

在输出层（图3，输出层只有一个节点）中的传输函数采用函数f,最终的输出为：y=f(v)，即y=f(∑xiωi+b)。

如函数f为线性函数Linear,输入V就是神经元输出（图1）：

y=∑xiωi+b，i=1、2、…、n

如函数f为符号函数Sgn（图2），则神经元产生二值输出:

q=Sgn(∑xiωi+b)

用矩阵表示：