Python3功能篇七：如何计算两个中文语句的相似度？_python 比较两句话的相似度

记录一下，方便以后翻阅~
开发环境：PyCharm2019.2.3 社区版
Python版本：3.8

主要代码如下：

# -*- coding: utf-8 -*-
# 作者：闲人Ne
# 格言：学到就要教人，赚到就要给人
# 描述：计算两个中文语句的相似度，这里给出四种方法
# 日期: 2020年12月09日
import jieba                  # jieba分词
import difflib                # 方法一：Python自带标准库计算相似度的方法，可直接用
from fuzzywuzzy import fuzz   # 方法二：Python自带标准库计算相似度的方法，可直接用
import numpy as np
from collections import Counter

# 方法三：编辑距离，又称Levenshtein距离
def edit_similar(str1, str2):   # str1，str2是分词后的标签列表
    len_str1 = len(str1)
    len_str2 = len(str2)
    taglist = np.zeros((len_str1+1, len_str2+1))
    for a in range(len_str1):
        taglist[a][0] = a
    for a in range(len_str2):
        taglist[0][a] = a
    for i in range(1, len_str1+1):
        for j in range(1, len_str2+1):
            if(str1[i - 1] == str2[j - 1]):
                temp = 0
            else:
                temp = 1
            taglist[i][j] = min(taglist[i - 1][j - 1] + temp, taglist[i][j - 1] + 1, taglist[i - 1][j] + 1)
    return 1-taglist[len_str1][len_str2] / max(len_str1, len_str2)

# 方法四：余弦相似度
def cos_sim(str1, str2):        # str1，str2是分词后的标签列表
    co_str1 = (Counter(str1))
    co_str2 = (Counter(str2))
    p_str1 = []
    p_str2 = []
    for temp in set(str1 + str2):
        p_str1.append(co_str1[temp])
        p_str2.append(co_str2[temp])
    p_str1 = np.array(p_str1)
    p_str2 = np.array(p_str2)
    return p_str1.dot(p_str2) / (np.sqrt(p_str1.dot(p_str1)) * np.sqrt(p_str2.dot(p_str2)))
 
# 举例说明
str1 = "现在什么时候了"
str2 = "什么时候了现在"
str11 = jieba.lcut(str1)
str22 = jieba.lcut(str2)
print('str1=' + str1)     # jieba分词后
print('str2=' + str2)     # jieba分词后
diff_result = difflib.SequenceMatcher(None, str1, str2).ratio()
print('方法一：Python标准库difflib的计算分值：' + str(diff_result))
print('方法二：Python标准库fuzz的计算分值：' + str(fuzz.ratio(str1, str2)/100))
print('方法三：编辑距离的计算分值：' + str(edit_similar(str11, str22)))
print('方法四：余弦相似度的计算分值：' + str(cos_sim(str11, str22)))

# 备注，一般采用几种方法，给每个方法配个权重，算总分，这样比较好！

# —————— Copyright (C)2020 闲人Ne. All Rights Reserved —————— END OF FILE —————— #
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57

运行结果如下：

课后作业，怎么让运行结果的红色字体不显示？