激活函数整理_leaky_relu_forward函数

激活函数整理

先写几个常用的，以后抽时间整理一下吧

Relu

[0,∞)
pass

leakyRelu

(lim->0 , ∞)
pass

Relu6

[0,6]
pass

Sigmoid

(0,1)

$$f(x)=\frac{1}{1+e^{-x}}.$$

pass

自己实现：

pass

调用torch官网：

def showAF(x):
    y0=relu = F.relu(x)
    y1=leakyRelu=F.leaky_relu(x)
    y2=sigmoid=torch.sigmoid(x)
    y3=relu6 = torch.nn.ReLU6(x)
    
    plt.title('activationFunctions')
    plt.plot(x, y0, color='red', label='Relu')
    plt.plot(x, y1, '--',color='blue', label='LeakyRelu')
    plt.plot(x, y2, '-.', color='green', label='Sigmoid')
    plt.plot(x, y3, color='pink', label='ReLU6')
    plt.legend()
    plt.grid(True,linestyle='--',alpha=0.8)

    plt.xlabel('x')
    plt.ylabel('y')
    plt.show()
x=torch.linspace(-10,10,100)
showAF(x)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20