pytorch深度学习基础（一）——激活函数的介绍与对比_mish激活函数和relu对比

神经网络与感知机

感知机即阈值逻辑单元，通过阈值来进行判断类别，神经网络则是多个感知机的集合，可以应用于处理更复杂的问题

激活函数

首先我们来介绍在神经网络网络中的激活函数，激活函数相当于在感知机中设置的阈值，不过感知机中的激活函数使用的是阶跃函数，而在神经网络中这样的激活函数明显是不够的

阶跃函数（step_function）

特征

• 这是一种类似于感知机中阈值的函数，如果大于0则返回1，小于0则返回0。
• 取值范围为0或1。由于阶跃函数非0即1。
• 没有斜率，容易出现梯度消失
  

sigmoid函数

$$公式为：sigmoid(x)=\frac{1}{1+e^{-x}}$$
特征

• sigmoid的曲线更为平滑，取值返回为0-1。
• sigmoid函数可以将较大的值放大，较小的值缩小。
• 值越大放大的越慢，值越小缩小的越慢。
• 可以同时存在若干较大的值，所以可以用于多标签不互斥分类的输出层
• 两端斜率越来越小，都存在梯度消失的情况。
  

tanh函数

$$tanh(x)=\frac{2}{1+e^{-2x}}-1$$
特征

• 输出范围为-1~1，特征有正负。
• 与softmax相似，但tanh常用于隐藏层，而 sigmoid 函数常用于输出层。
  

relu函数

特征

• 小于等于0时返回0，否则返回原值，取值大于等于0。
• relu只存在线性关系，因此计算速度比sigmoid和tanh更快。
• 输入为负，梯度消失。真实场景里，更多是学习正特征。
• 难以解决分类问题，常用于作为中间层（隐藏层）用于提高学习速度。
• 如果用于输出层则是用于回归问题。
  

mish函数

$$mish(x)=x\cdot tanh(ln(1+e^x))$$
特征

• mish与relu的图像很相似（注意，这里的类似是基于图像的，与实际的函数无关）
• 相对于relu函数更加平滑，同时可以取到负值

softmax函数

$$y=\frac{exp(a_k)}{{\sum }_{i=1}^{n}exp(ai)}$$

• softmax函数产生的数值之和为1，常用来表示概率。
• 将所有输入归一化到0-1之间，不存在负值，同时放大最大的值，抑制最小的值。
• 常用作互斥多分类的输出层

函数图像对比

画图代码实现如下

import matplotlib.pyplot as plt
import numpy as np

plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

def step_function(x):
    return np.array(x > 0, dtype=np.int)

def sigmoid(x):
    return 1 / (1 + np.e ** (-x))

def relu(x):
    x[x<=0] = 0
    return x
def softmax(x):
    return np.e ** x / np.sum(np.e ** x)

def mish(x):
    return x * np.tanh(np.log(1+np.e ** x))

def tanh(x):
    return 2 / (1 + np.exp(-2 * x)) - 1

x = np.linspace(-10, 10, 100)
plt.plot(x, step_function(x.copy()), label='step_function')
plt.plot(x, sigmoid(x.copy()), label='sigmoid')
plt.plot(x, relu(x.copy()), label='relu')
plt.plot(x, softmax(x.copy()), label='softmax')
plt.plot(x, mish(x.copy()), label='mish')
plt.plot(x, tanh(x.copy()), label='tanh')
plt.title("激活函数")
plt.legend()
plt.savefig("激活函数.png")
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35