赞
踩
腾讯一面的题目,当时脑子里只有相加平均
1)平均词向量:
平均词向量就是将句子中所有词的word embedding相加取平均,得到的向量就当做最终的sentence embedding。这种方法的缺点是认为句子中的所有词对于表达句子含义同样重要。
2)TF-IDF加权平均词向量:
TF-IDF加权平均词向量就是对每个词按照 TF-IDF 进行打分,然后进行加权平均,得到最终的句子表示。
3)SIF加权平均词向量:(没用过,所以理解其神韵即可)
第一步是对TF-IDF加权方法进行了改进,即算法认为词频本身很小的词,如果出现在当前句子中,说明其应当具有较高的权重。通过这样的方式进行加权平均操作得到一个平均向量。
第二步则是将该向量中的各个词的共有信息给抽掉,剩下的信息则更能够表征这个句向量。
1)analogy task:
看看空间距离近的词,跟人的直觉是否一致,
经典的例子:king-queen=man-woman
2)对实际NLP任务的贡献:
对于一些传统方法做的任务,可以直接当作特征加进去,看看提升的效果。
对于用神经网络做的,可以用词向量作为词那一层的初始值,初始值选得好,就当做词向量好。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。