赞
踩
在自然语言处理中为tokenize后的句子进行转化成id时会用到,该代码的意思是,如果在词表vocab中有word这个单词,那么就取出它的id;如果没有,就去除UNK(未知词)对应的id,其中UNK表示所有的未知词(out of vocab)都对应该id,对应到下一步取词向量时,该id对应的词向量就表示所有未知词语义的平均。