如何使用预训练模型优雅的生成sentence embedding

前言

预训练语言模型在目前的大部分nlp任务中做个微调都能取得不错的一个结果，但是很多场景下，我们可能没办法微调，例如文本聚类，我们更需要的是文本的向量表示；又亦如文本匹配，特别是实时搜索场景，当候选集数量较多时，直接使用ptm做匹配速度较慢。那么如何优雅的使用预训练模型生成文本embedding呢？本文将会从不同的预训练模型与不同的优化方法去介绍文本embedding的生成方式，如有理解错误，欢迎大家指正。

本文所有的测试结果基于哈工大开源的LCQMC数据集，共20+w条数据，测试方法是计算两个句子的Spearman Rank Correlation与Pearsonr Rank Correlation，从测量的相关关系上区分，Pearson主要是用来测试线性关系，而Spearman主要是用来测试单调关系，因此建议大家以Spearman的结果为主要参考

word2vec与elmo

baseline还是需要的，word2vec使用了Tencent AI Lab提供的word2vec取了前50w个词(一共16G加载太慢，感觉也没必要全部加载)，维度是200维，句向量采用结巴分词后取均值。elmo使用的是哈工大的ELMoForManyLangs，句向量采用的是embedding层的输出值，两层BiLSTM的输出值取均值作为句向量，对比结果如下。

bert类模型的基操

bert类模型输出句向量的方式主要有两种方式，取cls表示句向量或者对所有的token值做一个pool操作。pool又有很多种，有取均值，最大值，用哪一层的结果又有很多讲究，有取最后一层的，取后两层的，甚至取第一层与最后一层。这里采用了均值的方式，对比了bert与roberta。

可以看到bert的cls可以说是完全用不了的，甚至被word2vec无情碾压。但是反观roberta的cls表现还不错。个人认为应该是因为roberta取消了nsp任务没有segment embedding，cls更能代表句向量。反观bert因为有nsp的任务，两个句子可能对cls的结果有一定的影响。当然也不排除是因为roberta本身效果就优于bert。效果最理想的方案是取第一层与最后一层的输出值做平均池化操作，个人想法，最后一层的值会有些“过拟合”，而第一层的值又较为“欠拟合”，中和一下选个折中的方案。

虽然roberta的效果有所提升，但是依旧有进步空间，我们还是需要考虑下为啥bert类模型生成的句向量效果不够理想，我这里有两种解释，先看第一种

上述表格第一行表示词频，数值越大表示词频越小。第二行表示的是bert生成的每个词的embedding到原点的$l_2$距离，可以发现，词频高的词距离原点距离更近。第三到五行表示的是词embedding的k个邻居词的$l_2$距离，可知词频越高的词，周围的词越多，词频越高周围的词也约稀疏。

从表格中得出的结论，可以发现在bert的embedding空间内，只要词频低的词，其附近会有很多“空洞”，即无意义的空间，而我们在计算sentence embedding时通常都是取均值，取了均值后就有一定的概率落在“空洞”的位置，或者说是语义不平滑的，这就对最终的的相似度计算造成了一定的影响。其次，高低频词的分布特性，导致在计算相似度时会出现相似度过高或者过低的情况，当句子都是由高频词组成，相似度就会很高，相反当句子中低频次很多，相似度就会很低。

再看第二种解释，一般用于计算文本相似度的方法是cosine similarity，其优点在于值域在[0,1]区间内，便于选择阈值，bert的输出是一个高维空间的向量，假设这个向量已经能充分的表示文本的语义，但cosine similarity计算较为简单，可能没办法把这么复杂的值用这么简单的方法计算出其相似度。其次，cosine similarity的计算公式是两个向量的內积除以各自的模长。

但是上式要成立需要保证我们的向量的基底是标准正交基，基底如果不同，那么內积的计算公式就不一样，cosine similarity的计算自然也就不一样了，bert生成的embedding的坐标系是否是标准正交基我们不得而知了，但是既然效果不理想我们完全可以猜测大概率不是。

知道了为啥效果不好，那么我们就来针对其缺点进行改进，下文会为大家介绍监督学习与非监督学习的两种改进方法。

基于监督学习的bert类模型embedding

既然直接使用bert生成的句向量效果不够理想，那么能不能先做一个微调再来使用bert生成句向量呢？通常我们微调都是最小化cross entropy，我们的目标并不是cosine similarity，既然如此，我们何不直接把目标修改为cosine similarity，让cls的值就是为计算cosine similarity来服务的，这就是sentence bert(下文简称sbert)的思路。

如上图所示，我们需要使用NLI或者STS的数据集对模型进行微调，把单个bert改成孪生网络的结构，这里虽然是两个部分，但是权重是共享的，首先使用NLI的数据训练模型，分别输入两个句子，得到对应的cls的值，及上图的u与v，然后把u，v与|u-v|进行拼接，再进行分类。

然后使用STS的数据再进行训练，结构还是一样的，只不过输出的u与v这个时候需要计算cosine similarity，最后损失函数换成了平方损失函数。

sbert中还提到了一种替换成hinge loss的方法

a是原句，p是正例，n是负例，目标是要让原句与正例的差别要比原句与负例的差别大$ϵ$

最后我们看下sbert的效果，使用的论文作者提供的一个多语言版本的sbert

除了sentence bert我们再看一种方法，来自苏剑林的simbert，其思路是让模型不再简单的判断两个句子是否相似，而是提高了任务难度，让模型选择哪个句子和当前的句子相似度最大，其结构如下

模型使用的是微软提出的unilm，即半编码半回归模型，输入是两个句子，与nsp任务类似，然后把两个句子的顺序颠倒再输入一次，这样的输入我们称为一组数据，每个batch需要n组这样的数据，n取决于你的显存大小。然后把整个batch内的cls向量都拿出来，得到一个句向量矩阵$V\in R^{b\times d}$（$b$是batch_size，$d$是hidden_size），然后对$d$维度做$l_2$归一化，得到$\tilde{V}$，然后两两做内积，得到$b\times b$的相似度矩阵$\tilde{V}{\tilde{V}}^T$，接着乘以一个scale simbert中取了30，并mask掉对角线部分，最后每一行进行softmax，作为一个分类任务训练，每个样本的目标标签是它的相似句（至于自身已经被mask掉）。说白了，就是把batch内所有的非相似样本都当作负样本，借助softmax来增加相似样本的相似度，降低其余样本的相似度。simbert因为使用的是unilm的结构，除了可以计算相似度，还可以用于生成同义句。当然也可以把unilm替换成bert，如果使用bert就只输入一个句子即可。

最后来看结果吧

sbert效果略逊于simbert，simbert算是目前我尝试过的模型中的SOTA，但也不排除如果有充足的中文语料，sbert也可能超越simbert。

基于非监督学习的bert类模型embedding

这部分我们来介绍下非监督学习的方法来改善embedding的方法

上文提到想要计算余弦相似度，首先需要向量所属的坐标系是标准正交基。既然正交则所属向量必不相关，那么其协方差就为0，对应的向量则应该表现出各向同性(各向同性是指协方差矩阵为单位阵乘以一个正的常数)，所以，我们应该想办法把让bert的embedding的值变得或者说趋近于各向同性。

这里依旧是介绍两种方法，第一种方法是bert-flow，bert-flow的思路是把数据转变到标准的高斯分布，标准高斯分布是各向同性的，并且高斯分布是凸的，或者说是没有"空洞"的，因此语义分布也会更加的光滑。

bert-flow采用了基于流的生成模型来做这个数据分布的转变，flow是一个google提出来的用于做图像生成的模型，其思路是将服从高斯分布的随机变量$z$经过$f$函数映射到bert的编码$u$， 其中$f$需要是可逆的，这样$u$即可通过$f^{-1}$映射到高斯分布上。

训练的过程只更新flow模型的参数，优化目标为最大化从高斯分布到bert分布的概率即

bert-flow中的流模型实际使用的是flow的改进版本glow模型，具体细节这里就不展开说明了，感兴趣的童鞋可以参考源码，这里也提供一篇讲解flow的博客

除了bert-flow转变成正态分布的方法，我们再看另一种方法bert-whitening，标准正态分布的均值为0，协方差矩阵为单位阵，那我们能不能想办法把bert的embedding的均值转为0，协方差矩阵变为单位阵，实际上，这就是机器学习中常用的白化操作(whitening是指不同特征间相关性最小，接近0即协方差是0，并且所有特征的方差相等)。

上式就是whitening操作，那我们的目标就很明确了，求解$\mu$与$W$

$\mu$很简单，计算均值即可

关键点在于求解$W$，协方差矩阵的计算如下

根据上面的公式，我们可以得到$\tilde{x}$的协方差矩阵为

whitening需要协方差矩阵是单位阵，所以有

协方差矩阵$\Sigma$是一个正定对称阵，因此做SVD分解得到

这里的$U$是正交阵，$\Lambda$是对角阵且对角线是正数，因此可以得到

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I3ws0XME-1618487449589)(/Users/joezhao/Library/Application Support/typora-user-images/image-20210401172944204.png)]

有了$\mu$与$W$即可对embedding做whitening了。初次之外，做SVD分解时，$\Lambda$是对应的奇异值，这个是按照从大到小排序的，因此，我们可以只取前k维的数据，毕竟奇异值小的特征，保留着意义也不大，这里其实就是做了个pca的处理。

最后我们来看下flow与whitening的效果，两篇论文在英文数据集上测试提升都较为明显，但在本文的中文测试集上提升并不大。

总结

本文介绍了bert类模型的各种文本embedding的生成方式，每种方法各有优缺。如果你有足够多打了标签的同义句，那么采用有监督的方式肯定是最优的选择，没有数据，不妨尝试下两种无监督的方法，毕竟聊胜于无嘛~，除了bert自身的embedding，也可以考虑去融合其它模型生成的embedding，或者静态的词向量。

如果你有其它更有意思的embedding方式，欢迎留言，我会根据你提供的方法进行评测。

References

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

Whitening Sentence Representations for Better Semantics and Faster Retrieval

On the Sentence Embeddings from Pre-trained Language Models

Combining BERT with Static Word Embeddings for Categorizing Social Media

LCQMC: A Large-scale Chinese Question Matching Corpus

鱼与熊掌兼得：融合检索和生成的SimBERT模型

生成模型——流模型（Flow）