FAQ问答项目代码细节————BM25+BERT句子相似度

作者：小舞很执着 | 2024-07-05 22:40:03

踩

bm25+bert

一、建立FAQ库

一个问题三个形式，

数据增强之后问题和答案一一对应，19MB的ask.txt，答案保存在answer0-424中，每个文件1000个回答。节省处理时间。

1、self.titles <list> len=424043 eg：['什么是发票？','发票是什么？','发票的概念']

2、self.segTitles <list> len=424043 eg:[ ['什么', '是', '发票'],['发票', '是', '什么'], ['发票', '的', '概念']]

3、self.df <dict> len=28387 eg:{"什么":131898,"是":136367,"发票":13734}

4、self.idf <dict> len =28387 eg:{"什么":0.795219278

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小舞很执着/article/detail/791148