数据探索-离群值分析Python_python离群值处理代码

作者：你好赵伟 | 2024-03-24 10:59:33

踩

python离群值处理代码

数据建模前需要了解数据基本情况，尤其是是否存在离群值，离群值需要进行处理后才能更好的拟合模型。

以下是基于python进行离群值分析自定函数开发，代码如下：

# -*- coding: utf-8 -*-
from __future__ import print_function
import pandas as pd
from data_file_select import data_file_select
from result_path_select import result_path_select
import matplotlib.pyplot as plt
import numpy as np

def explore_box_line(variables, data_select='', path_type=0, data_path='', result_path=''):
    """
    异常值分析：进行连续变量箱线分析，输出箱线图及相关数据
    Parameters:        variables - 要分析的变量，必填，列表，举例 ['a22', 'a23']        data_select - 数据筛选，选填，公式，举例 (df.A1==1)&(df.B1==0)        path_type - 文件选择类型，选填，数值，默认0 0 资源管理器选择 1 参数提供        data_path - 数据文件地址，选填，文本，默认空 当path_type=1时填写        result_path - 结果输出地址，选填，文本，默认空 当path_type=1时填写
    Returns:        返回输出图片及数据文件    """
    # 获取数据源目录
    if path_type == 0:
        in_path = data_file_select()
    else:
        in_path = data_path
    # 数据源目录存在
    if in_path != '':
        # 读取数据
        df = pd.read_excel(in_path)
        if data_select != '':
            data = df.loc[data_select, ]
        else:
            data = df

        # 获取结果输出目录
        if path_type == 0:
            out_path = result_path_select()
        else:
            out_path = result_path
        # 输出结果地址存在
        if out_path != '':
            # 创建写出数据文件表头
            out_data_file = out_path + '/check_data.csv'
            f = open(out_data_file, 'a', encoding='utf-8')
            f.write('' + '\n')
            f.write('变量,'+'均值,'+'中位数,'+'最大值,'+'最小值,'+'四分之一分位,'+'四分之三分位,'+'四分位差,'+'下限,'+'上限,'+'离群值\n')
            f.close()

            # 需要分析的字段循环
            for variable in variables:
                # 制作箱线图
                plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
                plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
                plt.figure(figsize=(10, 10))  # 设置图片大小
                plt.boxplot(data[variable],
                            notch=True,
                            sym='*',
                            patch_artist=True,
                            boxprops={'color': '#ffff00'},
                            capprops={'color': '#ff3333'},
                            showmeans=True,
                            meanline=True
                            )  # 画箱线图
                plt.xlabel(variable)  # x轴标签
                plt.ylabel("数值")  # y轴标签
                plt.title(variable + '箱线图')  # 标题
                out_png_file = out_path + "/" + variable + '箱线图.png'
                plt.savefig(out_png_file)  # 保存箱线图

                # 计算相关值
                avg_value = np.mean(data[variable])
                median_value = np.median(data[variable])
                max_value = np.max(data[variable])
                min_value = np.min(data[variable])
                q1 = np.quantile(a=data[variable], q=0.25)
                q3 = np.quantile(a=data[variable], q=0.75)
                qr = q3 - q1
                low_limit = q1 - 1.5 * qr
                up_limit = q3 + 1.5 * qr
                abnormal_value = data.loc[(data[variable] < low_limit) | (data[variable] > up_limit),
                                          [variable]].values.tolist()
                # 写出数据
                out_value = [variable, avg_value, median_value, max_value, min_value, q1, q3, qr, low_limit, up_limit,
                             abnormal_value]
                data_out1 = pd.DataFrame(out_value)
                data_out2 = pd.DataFrame(data_out1.values.T, index=data_out1.columns, columns=data_out1.index)  # 转置
                data_out2.to_csv(out_data_file, header=False, index=False, mode='a', encoding='utf-8')

if __name__ == "__main__":
    explore_box_line(['a22', 'a23'])
    # help(explore_box_line)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84

执行步骤：

1.运行代码提示选择要读取的数据文件

2.选择分析结果输出的文件夹位置

3.输出结果如下

4.箱线图如下

5.分析数据如下

附件：

打开资源管理选择数据文件

# -*- coding: utf-8 -*-
# 打开资源管理器获取数据文件地址
from __future__ import print_function
import tkinter as tk
from tkinter import filedialog


def data_file_select():
    """
    打开资源管理器获取数据文件地址

    Returns:
        返回路径
    """
    # 实例化资源管理器
    root = tk.Tk()
    root.withdraw()
    # 获取文件路径
    f_path = filedialog.askopenfilename(title='请选择数据文件')
    return f_path
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

打开资源管理器选择文件夹

# -*- coding: utf-8 -*-
import tkinter as tk
from tkinter import filedialog


def result_path_select():
    """
    打开资源管理器获取结果输出地址

    Returns:
        返回路径
    """
    # 实例化资源管理器
    root = tk.Tk()
    root.withdraw()
    # 获取文件夹路径
    f_path = filedialog.askdirectory(title='请选择结果输出地址')
    return f_path
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19