leaky_relu_leaky relu

leaky_relu是一种激活函数，它在神经网络中常用于引入非线性性质。与传统的relu函数不同，leaky_relu允许负数输入有一个小的斜率，而不是完全截断为0。

在PyTorch中，可以使用torch.nn.functional.leaky_relu函数来应用leaky_relu激活函数。该函数的语法如下：

output = torch.nn.functional.leaky_relu(input, negative_slope=0.01, inplace=False)

其中：
- input是输入张量。
- negative_slope是负数输入的斜率，默认为0.01。
- inplace是一个布尔值，表示是否原地操作（即是否覆盖输入张量），默认为False。

以下是一个示例，展示如何使用leaky_relu函数：

import torch
import torch.nn.functional as F
 
input = torch.tensor([-1, 0, 1], dtype=torch.float32)
output = F.leaky_relu(input, negative_slope=0.2)
 
print(output)

输出结果为：

tensor([-0.2000,  0.0000,  1.0000])

这里，输入张量input包含了负数、零和正数。通过应用leaky_relu函数，负数部分被乘以斜率0.2，而正数和零保持不变。