【AI实战】中文文本相似度模型、开源数据集合集_chinese-mnli数据集下载

概念

文本相似度是指衡量两个文本的相似程度，通常我指语义的相似度。

相似度模型

无监督模型

TF-IDF

TF-IDF（Term Frequency – Inverse Document Frequency）是一种用于信息检索与数据挖掘的常用加权技术，常用于挖掘文章中的关键词，而且算法简单高效，常被工业用于最开始的文本数据清洗。

TF-IDF 常在向量空间模型中与余弦相似度一起使用，以判断两份文本之间的相似度。

BM25

BM25 算法的全称为 Okapi BM25，是一种搜索引擎用于评估查询和文档之间相关程度的排序算法，其中 BM 是 Best Match 的缩写。

LSA

潜在语义分析（LSA, Latent Semantic Analysis）的核心思想是将文本的高维词空间映射到一个低维的向量空间，我们称之为隐含语义空间。

基于 BERT 的模型

SBERT

论文链接：《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》

BERT-Flow

paper : 《On the Sentence Embeddings from Pre-trained Language Models》
code : github/BERT-Flow

BERT-Whitening

code：bert_whitening

SBERT - Whitening

【最佳方法】先做 SBERT，再进行Whitening。

对比学习模型

对比学习包括：SimCSE、ConSERT、ESimCSE等。

SimCSE

论文链接：《SimCSE: Simple Contrastive Learning of Sentence Embeddings》

ConSERT

论文链接：《ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer》

ESimCSE

论文链接：《ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding》

数据集

开源数据集包括：DIAC2019、CCKS2018_Task3、LCQMC、AFQMC、GAIIC2021_Task3、THS2021、CHIP2019、SOHU_2021、COVID19、PAWSX、XF2021、Chinese-MNLI、Chinese-SNLI、Chinese-STS-B、OCNLI、PKU Paraphrase Bank。

数据总结

数据量

数据下载地址

清洗及格式转换后的数据，下载链接：百度云
提取码：rt6f
【请勿用于商用！！！】

参考

1. https://arxiv.org/abs/1908.10084
2. https://arxiv.org/abs/2011.05864
3. https://github.com/hellonlp/text-similarity/tree/main/bert_whitening
4. https://arxiv.org/abs/2105.11741
5. https://arxiv.org/abs/2109.04380