关于句子向量和词向量的想法_对话级别向量

作者：代码探险家 | 2024-07-13 12:24:49

踩

对话级别向量

在很多地方都在讨论，句子级别和字符级别。
这两者，在实际操作中到底有什么区别呢？

通常来说，句子级别是[CLS] 或者字符级向量的avg max等等。或者说是一些特殊的组合。
那这些向量到底有什么区别以及会带来多少信息上的不同。

从本人角度来看，我更想知道的是，句子的向量是不是比字符的embedding有更多的句子层次的信息。虽然，暂时没有见到相关的讨论，但也有很多文章对该问题进行了说明。

在这里插入图片描述
主要做的事情：

实验说明了mean pooling的效果比较好，比CLS和MAX策略要好。
在mean pooling的基础上，作者用基于已经预训练好的bert模型的孪生网络，去训练一个，新的句子级别的向量，为什么这么做呢？因为，重新设计的这个网络，通过新的loss：句子相似度，来让这里得到的句子级别的向量，能更好的表示句子级别的语义相似度。

本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/代码探险家/article/detail/819432

关于 句子向量 和 词向量 的想法_对话级别向量