TF-IDF算法-Python实现（附源代码）_tf-idf算法的复杂度

一、背景

        

        TF-IDF算法全称 termfrequency–inverse document frequency，是一种用于资讯检索与资讯探勘的常用加权技术。它的算法复杂度并不高，但能很好的满足搜索高相关度文档的需求。由于它的高效性,TF-IDF 模型在搜索引擎等实际应用中被广泛使用。   

        以下是本人使用Python实现该算法的思路，如有不当之处望各位大牛指导一二。

二、TF-IDF算法概述

       

        关于TF-IDF算法的描述网上很多，我就不拾前人牙慧了，感兴趣的筒子们可参考这篇通俗易懂的文章：TF-IDF模型的概率解释。这篇文章中给出了很多数学公式，但数学的美妙在于其每个符号在现实中都是有着极其和谐的对应关系的。在下文中，我将用更通俗的方法阐述下个人的理解。

       这个模块就一个函数，代码如下：

def str_replace(str_source,char,*words):
    str_temp=str_source    
    for word in words:
        str_temp=str_temp.replace(word,char)
    return str_temp

       str_replace(str_source,char,*words)函数接受两个或两个以上的参数，str_source是需要处理的字符串，char是要替换的目标字符，words是可变字符串的元组，对字符串str_source中的每一个出现在words里的字符均替换成统一字符char。

       在主程序里可以这样使用str_replace(content_temp,"","\t","\n","")，即将content_temp里的每一个"\t","\n",""字符都删掉。

• 字符串格式转换模块StrToUni.py

        这个模块主要有两个函数StrToUni_try和StrToUni。

        由于输入字符串的格式可能没法实现知道，因而需要进行unicode解码的尝试，在解码尝试成功后再进行转码。这一过程分两个步骤，StrToUni_try和StrToUni两个函数分别完成。StrToUni_try函数主要负责判断字符串是不是某一格式，这个函数返回字符串的正确编码格式。StrToUni函数负责使用StrToUni_try返回的编码格式将字符串转化成unicode格式。代码如下：

def StrToUni_try(str,type_1):
    try:
        str.decode(type_1)
    except UnicodeDecodeError:
        return False
    else:
        return True
def StrToUni(str,*type_list):
    if not type_list:
        if StrToUni_try(str,'utf-8'):
            return str.decode('utf-8')
        else:
            print "输入的源文件的编码格式不是utf-8"
    else:
        for type_2 in type_list:
            if StrToUni_try(str,type_2):
                return str.decode(type_2)
            else:
                if type_2==type_list[-1]:
                    print "输入的源文件的编码格式不在您提供的格式列表中"