CV攻城狮入门VIT(vision transformer)之旅——VIT原理详解篇

C

→

9

×

(

m

×

n

×

C

)

H×W×C \to \ 9×(m×n×C)

H×W×C→ 9×(m×n×C)。**【注：此时每个小块的图片尺寸都是

m

×

n

×

C

m×n×C

m×n×C，我们将其展平其实就是一个维度】**

​  上文为大家介绍了三维tensor到二维tensor的转换，理论上很简单，代码其实就更简单了，就只需要调用一个函数即可，具体什么函数不知道的大家可以参考这篇文章。

​  我这里没有讲这个函数是因为我参考的代码并不是这样做维度变换的，而是通过卷积的方式进行。听上去是不是很奇妙呢，下面就跟我一起来看看吧。为方便大家理解，这里我们拿具体的数字来举例。设原图的尺寸为224*224*3，每个块（patch）的尺寸为

16

∗

16

∗

3

16*16*3

16∗16∗3，则我们一共会得到

224

16

∗

224

16

=

14

∗

14

=

196

\frac {224}{16}*\frac {224}{16} =14*14=196

16224​∗16224​=14∗14=196个patchs， 所以经分块后，一个224*224*3的三维tensor会变成一个196*(16*16*3)，即196*768的二维张量。那么由224*224*3变换到196*768的这个过程是可以由卷积实现的，即我们对原图进行卷积，卷积核大小为16*16*3 ,步长为16，padding=0，卷积核个数为768，卷积后，我们会得到特征图，其尺寸为14*14*768，接着将前两个维度展平，就得到了维度为196*798的tensor。其大致过程如下：

​  我认为这步使用卷积真的很巧妙，我们得到的196*798的二维向量，其实每一行即1*798都包含了原图中16*16*3大小的patch，这就是卷积的提取特征的功能嘛。【我这样介绍不知道大家会不会有这样的思路——我先用一些CNN模型来对图片提取特征，只要使CNN最后的输出维度为196*768，最后在送入Transformer模型中。其实这就将CNN和Transformer很好的结合在一起了，这种方法是可行的，大家可以自己尝试尝试喔】

---

​  现在我们已经得到了196*768维的tensor，我们假设其为x。接下来我们会使用一个维度为1*768维的Class token来和x进行Concat操作，输出结果为197*768维的tensor。这里肯定有人有疑问了，为什么这里会加一个Class token，在上篇讲述的Transformer中可没有这个操作。–小傻瓜–因为这篇文章我们要用来对物体进行分类啊！！！说不定你现在有点怀疑自己了，因为是分类任务所以要加上Class token？这两个还有因果关系不成？一个个问号从你脑海中冒出，百思不得其解。其实啊，这可没什么啥因果关系，只是我们在分类任务中加上Class token可能会效果更好。