NLP-文本匹配/语义相似度计算-2019：Poly-encoders【architectures and pre-training strategies for fast and accurate】_transformer文本匹配

一、概述

语义相似度计算是信息检索，自动问答中常用的技术。

语义相似度计算通常可以分为表示型和交互型两种类型。

• 表示型模型如DSSM，孪生网络，这类模型可以离线计算doc的编码，在线上运行时只需要编码query，效率很高，但是精度不如交互型模型，
• 而交互型模型需要在线编码query和doc，当需要比较的doc很多时，效率是非常低的。bert中的句子对任务其实就是一种交互式语义相似度计算模型，句子对任务需要拼接query和doc后一起编码，实际的应用中非常耗时，但仅仅使用bert来分别表示query和doc，然后通过点积或余弦相似度计算query和doc的分数的方法精度又不够。

非官方github ：
https://github.com/chijames/Poly-Encoder
https://github.com/sfzhou5678/PolyEncoder

Poly-encoder 架构可以用于推荐和搜索领域，只要是涉及两个 sequence 的比较的情况，都可以应用 Poly-encoder。
在速度上优于 cross-encoder, 质量上优于 bi-encoder 。
可以和 StarSpace （一种 learn-to-rank 模型, 效果好于 FastText 和 SVM）, 以及最近邻库 FAISS 来使用。
视频讲解地址 https://www.zhihu.com/zvideo/1455299489448202240

BERT在语义相似度计算中的应用（一）
https://developer.aliyun.com/article/971766
https://blog.csdn.net/qq_43390809/article/details/113586877
https://blog.csdn.net/xixiaoyaoww/article/details/108525940
https://zhuanlan.zhihu.com/p/380867813
https://blog.csdn.net/choose_c/article/details/118270484