transformer feedForward实现代码_feedforward函数

在Transformer模型中，Feed Forward Neural Network (FFNN) 是由两个线性层和一个非线性激活函数（通常是ReLU）组成的。以下是使用PyTorch实现Transformer中Feed Forward部分的示例代码：

python复制代码

import torch  
import torch.nn as nn  
import torch.nn.functional as F  
  
class FeedForward(nn.Module):  
    def __init__(self, d_model, d_ff, dropout=0.1):  
        super(FeedForward, self).__init__()  
        # 两个线性层：第一层将输入维度d_model映射到d_ff，第二层将d_ff映射回d_model  
        self.linear1 = nn.Linear(d_model, d_ff)  
        self.dropout = nn.Dropout(dropout)  
        self.linear2 = nn.Linear(d_ff, d_model)  
  
    def forward(self, x):  
        # 第一个线性层  
        x = self.linear1(x)  
        # 应用ReLU激活函数  
        x = F.relu(x)  
        # 应用dropout  
        x = self.dropout(x)  
        # 第二个线性层  
        x = self.linear2(x)  
        return x  
  
# 示例：创建一个FeedForward层，其中d_model=512, d_ff=2048  
ffn = FeedForward(d_model=512, d_ff=2048)  
  
# 示例输入，大小为(batch_size, sequence_length, d_model)  
input_tensor = torch.randn(32, 10, 512)  
  
# 由于FeedForward层是独立地应用于每个位置的，我们需要改变输入的形状  
# 以便可以将其传递给FeedForward层  
# 将输入从(batch_size, sequence_length, d_model)变为(batch_size * sequence_length, d_model)  
input_reshaped = input_tensor.view(-1, 512)  
  
# 通过FeedForward层传递输入  
output = ffn(input_reshaped)  
  
# 将输出从(batch_size * sequence_length, d_model)变回(batch_size, sequence_length, d_model)  
output = output.view(32, 10, 512)

在上面的代码中，FeedForward 类定义了一个具有两个线性层和一个ReLU激活函数的前馈神经网络。输入首先通过一个线性层进行变换，然后应用ReLU激活函数，接着应用dropout（如果有的话），最后通过第二个线性层。

请注意，在实际应用中，Transformer的Feed Forward层通常是在每个位置独立地应用于输入的，这意味着你需要将输入张量的形状从 [batch_size, sequence_length, d_model] 更改为 [batch_size * sequence_length, d_model]，然后再将输出张量的形状更改回来。这是因为标准的PyTorch线性层期望的输入是二维的，即 [batch_size, input_features]。