当前位置:   article > 正文

关于transformer的具体实现步骤_图像如何输入到transformer

图像如何输入到transformer

1.我们都知道transformer是在nlp中应用的,为此在nlp中的首先输入形式就是序列的形势。到了CV领域里面,图像是2维的,为此,我们需要将图像变成一维的,如何实现通常采用的是如下两种方案。一种是直接分割,一种是通过卷积核和步长都为patch大小的卷积来分割

1)直接分割

直接分割即把图像直接分成多块。在代码实现上需要使用einops这个库,完成的操作是将(B,C,H,W)的shape调整为(B,(H/P *W/P),P*P*C)。

  1. from einops import rearrange, repeat
  2. from einops.layers.torch import Rearrange
  3. self.to_patch_embedding = nn.Sequential(
  4. Rearrange('b c (h p1) (w p2) -> b (h w) (p1 p2 c)', p1 = patch_height, p2 = patch_width),
  5. nn.Linear(patch_dim, dim),
  6. )

 

这里需要解释的是,一个括号内的两个变量相乘表示的是该维度的长度,因此不要把"h"和"w"理解成图像的宽和高。这里实际上h = H/p1, w = W/p2,代表的是高度上有几块,宽度上有几块。h和w都不需要赋值,代码会自动根据这个表达式计算,b和c也会自动对应到输入数据的B和C。

后面的"b (h w) (p1 p2 c)"表示了图像分块后的shape: (B,(H/P *W/P),P*P*C)

这种方式在分块后还需要通过一层全连接层将分块的向量映射为tokens。

在ViT中使用的就是这种直接分块方式。
 

2)卷积分割

卷积分割比较容易理解,使用卷积核和步长都为patch大小的卷积对图像卷积一次就可以了。

  1. self.proj = nn.Conv2d(in_chans, embed_dim, kernel_size=patch_size, stride=patch_size)
  2. x = self.proj(x).flatten(2).transpose(1, 2) # B Ph*Pw C

 在swin transformer中即使用的是这种卷积分块方式。在swin transformer中卷积后没有再加全连接层。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/875163
推荐阅读
相关标签
  

闽ICP备14008679号