神经网络0——convolution+ReLu、maxpooling、fully connected、softmax各部分作用_激活函数用于fully connected层吗

---

一、convolution——提取特征

二、ReLu——激活函数

1.什么是激活函数

定义：用于对上一层的所有输入求加权和，然后生成一个输出值（通常为非线性值），并将其传递给下一层。在神经网络中，激活函数是一个非线性函数。
作用：解决不能用线性方程所概况的问题

2.在Pytorch中常用的几个激活函数

ReLU

注：relu6：表示最大值是6

Tanh

Sigmoid

Softplus

import torch
import torch.nn.functional as A     # 用来实现各种非线性化的功能：nn是神经网络模块
from torch.autograd import Variable #Variable来签到激励函数
import matplotlib.pyplot as plt  # python 的可视化模块, 我有教程 (https://mofanpy.com/tutorials/data-manipulation/plt/)

# 做一些假数据来观看图像fake data
x = torch.linspace(-5, 5, 200)  # 从-5~5取500个数据。x data (tensor), shape=(100, 1)
x = Variable(x)
x_np = x.data.numpy()   #torch数据不能被plt matplotlib识别，换成 numpy array, 出图时用

# 几种常用的 激励函数
y_relu = A.relu(x).data.numpy()
y_sigmoid = A.sigmoid(x).data.numpy()
y_tanh = A.tanh(x).data.numpy()
y_softplus = A.softplus(x).data.numpy()
# y_softmax = A.softmax(x)  softmax 比较特殊, 不能够通过线图来呈现，不能直接显示, 不过他是关于概率的, 用于分类


plt.figure(1, figsize=(8, 6))
plt.subplot(221)
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.subplot(222)
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')

plt.subplot(223)
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')

plt.subplot(224)
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')

plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

三、pooling——降维(减小feature map的尺寸)，减小计算量和参数量、增大感受野

相当于带步长s>1的卷积

1.max Pooling

2.Avg Pooling

四、fully nected——作用主要就是实现分类（Classification）

卷积取的是局部特征，全连接就是把以前的局部特征重新通过权值矩阵组装成完整的图。
因为用到了所有的局部特征，所以叫全连接。

五、softmax()——后续更新

参考

1.https://blog.csdn.net/jiachen0212/article/details/78548667 2.https://blog.csdn.net/weixin_41513917/article/details/102514739?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522161691768416780357257191%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=161691768416780357257191&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_click~default-1-102514739.first_rank_v2_pc_rank_v29&utm_term=maxpooling 3. https://blog.csdn.net/m0_37407756/article/details/80904580