huggingface transformer AutoTokenizer输出解释_怎么输出huggingface的transformer的token的个数

huggingface中的AutoTokenizer之前一直用不明白，不知道输出是什么意思，看网上也没什么人解释，在这里贴一下。

一般情况下，文本经过AutoTokenizer以后，输出会是一个字典，包含三项：

• input_ids (torch.Tensor): 生成的token编号，形状为[bs, num_token]，其中bs是batchsize，num_token是token的数量。每个token编号对应于词汇表中的一个token，例如单词，子词，字符等。
• attention_mask (torch.Tensor): 注意力掩码，形状为[bs, num_token]，每个元素表示该位置的token是否是有效的，如果是，则为1，否则为0。注意力掩码的作用是告诉模型哪些标记是需要注意的，哪些标记是填充的，可以忽略。
• token_type_ids (torch.Tensor): 标记类型编号，形状为[bs, num_token]，每个元素表示该位置的标记属于哪个句子，如果是第一个句子，则为0，如果是第二个句子，则为1。标记类型编号的作用是告诉模型哪些标记是属于同一个句子的，这在一些任务中是有用的，例如问答，自然语言推理等。