神经元模型及网络结构_神经元结构和抽象

作者： 明天依旧可好

原文链接：https://mtyjkh.blog.csdn.net/article/details/111284220

---

人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。（来自：百度百科）

神经网络包括输入层、输出层和中间层（也叫隐藏层）。下图是一个三层神经网络，输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。

神经网络结构图

注意：

• 1.设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定；
• 2.神经网络结构图中的拓扑与箭头代表着预测过程时数据的流向，跟训练时的数据流有一定的区别；
• 3.结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），这是需要训练得到的。

神经元

神经元模型是一个包含输入，输出与计算功能的模型。

结构：

函数表达式：

$$n=f(wp+b)$$

• w：为权值
• p：为输入
• b：偏置值

一个神经网络的训练算法就是让权重的值调整到最佳，以使得整个网络的预测效果最好。

传输函数

也称激活函数，可以直接当数学里面的函数来理解

多输入神经元

结构：

函数表达式：
$$n=w_{1,1}{p}_1+w_{1,2}{p}_2+...+w_{1,R}{p}_R+b$$
改写成矩阵形式
$$n=wp+b$$
进而
$$a=f(wp+b)$$

网络结构

单层神经网络

结构：


函数表达式：

$$n=wp+b$$

$$a=f(wp+b)$$
$w$为：
w = [ w 1 , 1 w 1 , 2 ⋯ w 1 , R w 2 , 1 w 2 , 2 ⋯ w 2 , R ⋮ ⋮ ⋱ ⋮ w S , 1 w S , 1 ⋯ w S , R ] w=

$$\begin{bmatrix} w_{1,1} & w_{1,2} & ⋯& w_{1,R} \\ w_{2,1} & w_{2,2} & ⋯&w_{2,R} \\ ⋮& ⋮ & ⋱&⋮ \\ w_{S,1} & w_{S,1} & ⋯&w_{S,R} \\ \end{bmatrix}$$ w=⎣⎢⎢⎢⎡​w1,1​w2,1​⋮wS,1​​w1,2​w2,2​⋮wS,1​​⋯⋯⋱⋯​w1,R​w2,R​⋮wS,R​​⎦⎥⎥⎥⎤​

• S：神经元个数
• R：输入值个数

单层神经网络

结构：

回复神经网络

结构：

---

参考书籍：《神经网络设计》第二版
参考文章：https://www.cnblogs.com/subconscious/p/5058741.html#second