PatchEmbed代码讲解记录_patch embedding

PatchEmbed

代码

首先上代码。

class PatchEmbed(nn.Module):
    """ Image to Patch Embedding
    """
    def __init__(self, img_size=256, patch_size=8, in_chans=3, embed_dim=512):
        super().__init__()
        img_size = to_2tuple(img_size)
        patch_size = to_2tuple(patch_size)
        num_patches = (img_size[1] // patch_size[1]) * (img_size[0] // patch_size[0])
        self.img_size = img_size
        self.patch_size = patch_size
        self.num_patches = num_patches
 
        self.proj = nn.Conv2d(in_chans, embed_dim, kernel_size=patch_size, stride=patch_size)
 
    def forward(self, x):
        B, C, H, W = x.shape
        x = self.proj(x)
 
        return x

1. 从NLP任务中的embedding开始理解

首先从NLP任务中的embedding开始理解。我们举个例子，假设有下面的句子：

“Could have done better”

我们对其中的每个单词进行编码，为每个单词分配一个数字（索引）。

如，我们使用gpt2进行分词。

tokenizer = AutoTokenizer.from_pretrained("gpt2")
tokenizer.add_special_tokens({"pad_token": "[PAD]"})  # 手动添加[PAD]

转回来，这里举如下例子，假设得到编码结果为：

Could have done better
122   8    114  12

我们为每个索引分配一个n维向量，假设n = 5 n=5n=5并得到如下的分配结果（不需要了解是怎么分配的）：
 

索引122对应的词向量：0.0190721  -0.04473796  0.03923314  0.04681129 -0.02183579
索引8对应的词向量：0.01421751 -0.00090249  0.01750712 -0.03774468  0.04996594
索引114对应的词向量：-0.04607415  0.04186441  0.02681447 -0.00218643 0.03448829
索引12对应的词向量：-0.03162882  0.03427991  0.0324514   0.03953638  0.01771886

上述整个embedding过程可以概括为：

1.分词，tokenizer

翻译为分词器/划词器。目的是将句子进行分词并且并转化为唯一编码。
2. 编码转词向量 torch.nn.Embedding(max_position_embeddings, embed_dim)

max_position_embeddings:词嵌入层中可以嵌入的最大位置数或最大的位置索引,设置为100，那么词嵌入层将能够为序列中的前100个位置分配不同的嵌入向量。

embed_dim：词向量的维度。
实际上，单词编码是因为计算机并不能直接处理文字，只能处理离散的数字，所以我们首先要将单词通过编码转为计算机可以识别的数字。我们真正要关注的是编码转词向量的过程，这一步才是embedding的核心。可以看到，我们通过embedding把编码后的单词映射到另一个维度空间，用一个新的向量来描述这个单词。这也是理解接下来patchembed的关键。
2. 回到PatchEmbed

首先需要理解一下什么是patch。我们对一张图片可以划分成为多个块，每个块就称为一个patch。如图所示：

 从PatchEmbed这个名字我们也能猜到它的作用，PatchEmbed实际上就是对每个patch进行embed输出一个n维向量来代表这个patch。
接下来我们从代码层面理解patchembed这一过程：
首先PatchEmbed继承自nn.Module这个类不用说，我们重点关注一下它的参数img_size, patch_size, in_chans, embed_dim，它们代表的含义分别是

1. img_size：图像尺寸
2. patch_size：每个patch的大小，并非将图片划为patch_size个patch
3. in_chans：输入的通道数，彩色图像通常为3
4. embed_dim：将每个patch编码为embed_dim维向量

以默认参数img_size=256, patch_size=8, in_chans=3, embed_dim=512为例，相当于输入一幅 通道数为3的图像，每个patch的大小分别为8 × 8 ，总patch数目就相当于
 =1024个，相当于把图像分为1024个patch，每个patch编码为一个512维的向量。

代码： 

 patchembed代码讲解_哔哩哔哩_bilibili

转载：PatchEmbed代码讲解记录_明天一定早睡早起的博客-CSDN博客