数据分享|R语言聚类、文本挖掘分析虚假电商评论数据：K-MEANS(K-均值)、层次聚类、词云可视化...

全文链接：http://tecdat.cn/?p=32540

聚类分析是一种常见的数据挖掘方法，已经广泛地应用在模式识别、图像处理分析、地理研究以及市场需求分析。本文主要研究聚类分析算法K-means在电商评论数据中的应用，挖掘出虚假的评论数据（点击文末“阅读原文”获取完整代码数据）。

相关视频

本文主要帮助客户研究聚类分析在虚假电商评论中的应用，因此需要从目的出发，搜集相应的以电商为交易途径的评论信息。对调查或搜集得到的信息进行量化录入处理，以及对缺失值过多的分析对象进行删除。之后进行多维度的数据描述。由于地图最多只能显示三维空间，而顾客指标属性很可能不止三个，因此在数据描述中可以进行单一指标与某个确定指标的二维展示，这样大致先了解客户分布。

最终，通过应用改进的K-means算法对数据进行挖掘，得出了直观有用的形象化结论，对之后公司管理层做销售决策提供了必要的依据。本次改进，也可以作为今后其他数据的参考，来进行其他数据的可靠挖掘，可以说提供了可靠的参照。

研究内容

本项目主要是针对现实中的市场营销与统计分析方法的结合，来挖掘潜在的客户需求。随着电子商务的发展和用户消费习惯改变，电商在销售渠道的比重将大大增强，2014年电商销售已经超过了店面销售的数量。因此，这为通过数据挖掘算法来分析客户的交易选择行为，将客户的喜好通过分类来组别，这样进一步能挖掘潜在客户和已交易客户的下一步潜在需求。

本文在基础的K-means聚类算法的基础上，结合该算法固有的一些缺陷，提出了一些改进措施，即通过改进的K-means聚类算法来对“B2C电商评论信息数据集”数据进行处理，在最终得到结果之后依据形象化的结论提出相应的公司决策，以满足市场的要求。

K-means的改进

文献[7]是Huang为克服K-means算法仅适合于数值属性数据聚类的局限性，提出的一种适合于分类属性数据聚类的K-modes算法"该算法对K-means进行了3点扩展：引入了处理分类对象的新的相异性度量方法(简单的相异性度量匹配模式)，使用mode：代替means，并在聚类过程中使用基于频度的方法修正modes，以使聚类代价函数值最小化"这些扩展允许人们能直接使用K-means范例聚类有分类属性的数据，无须对数据进行变换"K-modes算法的另一个优点是modes，能给出类的特性描述，这对聚类结果的解释是非常重要的"事实上，K-modes算法比K-means算法能更快收敛，与K-means算法一样，K-modes算法也会产生局部最优解，依赖于初始化modes的选择和数据集中数据对象的次序。初始化modes的选择策略尚需进一步研究。

1999年，Huang等人[8]证明了经过有限次迭代K-modes算法仅能收敛于局部最小值。

K-medoids聚类算法的基本策略就是通过首先任意为每个聚类找到一个代表对象(medoid)而首先确定n个数据对象的k个聚类；(也需要循环进行)其它对象则根据它们与这些聚类代表的距离分别将它们归属到各相应聚类中(仍然是最小距离原则)。

综合考虑以上因素，本文考虑了孤立点。传统的聚类分析将全部点进行聚类，而不考虑可能存在的孤立点对聚类结果的干扰，这使得聚类结果缺乏可靠性和稳定性。对于聚类结果，需要进行判别分析，包括内分析和外分析。内分析主要是在聚类之后，点到类中心的阈值来寻找孤立点，从而剔除孤立点，保证样本和聚类中心的可靠性，在剔除了孤立点后需要重新计算类中心，如果出现极端情况，甚至有可能进行再一次聚类分析；外分析是指在确定好最终的聚类结果后，进行外样本预测，使聚类结果更加稳定。

分析

数据集与环境

本文的实验环境为Windows操作系统，R编程环境。同时选取了“B2C电商评论信息数据集”作为实验对象。这个数据集中包含了2370条B2C电商评论信息（查看文末了解数据免费获取方式）。

数据文件：

设计

在这里，为了提高算法效率，降低数据的稀疏性，本文首先导入文本数据，对该数据进行文本挖掘。筛选出所有评论中词频最高的前30个词汇，用作实验的聚类属性。

# == 分词+频数统计  
words=unlist(lapply(X=data, FUN=segmentCN));

每个高频词汇和其词频数据如下表所示：