赞
踩
拿到数据后,数据中可能会存在一些超大或极小的值,这些值与其他的值离得较远,显得格格不入,我们称其为离群点,有时也称为异常点。对于这些值,它的存在会导致影响最终的分析结果,带偏我们的分析。举个简单的例子,10个人的收入分别为2000,2500,2300,2425,2512,2375,2700,2265,2345,10000000,只算前9个,平均值就是2380,但加上最后一个,平均值就是1002144.2,就可能严重带偏最后分析的结果。因此,对于这样的数据,我们需要将其去除或修改。
(一)数据去极值
数据去极值的方法有很多,我们介绍其中3种:绝对值差中位数法(MAD),3西格玛法和百分位法。
(1)绝对值差中位数法(MAD)
绝对值差中位数法MAD处理步骤:
• Step 1:找出所有因子的中位数
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。