Vision Transformer里的MLP Head里的Pre-Logits层_pre_logits

# Representation layer
if representation_size and not distilled:
    self.has_logits = True
    self.num_features = representation_size
    self.pre_logits = nn.Sequential(OrderedDict([
        ("fc", nn.Linear(embed_dim, representation_size)),
        ("act", nn.Tanh())
    ]))
else:
    self.has_logits = False
    self.pre_logits = nn.Identity()

nn.Sequential：一个有序的容器，神经网络模块将按照在传入构造器的顺序依次被添加到计算图中执行，同时以神经网络模块为元素的有序字典也可以作为传入参数。

OrderedDict：python中字典dict是利用hash存储，因为各元素之间没有顺序。OrderedDict即按照有序插入顺序存储的有序字典。除此之外还可根据key，val进行排序。

nn.tanh()：双曲正切的激活函数

公式：

 函数：y = tanh x；

图像：

nn.Identity： 恒等函数，即f(x) = x，相当于分类得到分类之前的特征。