数据预处理（详细步骤以及代码说明）_数据预处理数据文件

目录

导入所需库

读取数据

 读取CSV数据：

读取文本数据：

读取EXCEL数据：

查看数据基本信息

查看数据集的类型

数据类型的转换

DataFrame类型：

不是DataFrame数据类型：

不同类型之间的转换：

数据清洗

填充缺失值：

处理离群值：

处理异常值：

处理重复值：

数据的归一化

整合数据

数据规约

总结

补充（连续与不连续数据填充）

连续型数据：

非连续型数据：

---

       数据预处理是数据分析和机器学习过程中至关重要的一步。它涉及到对原始数据进行清洗、转换和规范化，以便于后续的建模和分析。以下是数据预处理的一些常见步骤以及对应的代码解释：

导入所需库

import pandas as pd    
import numpy as np  

这里我们导入了两个常用的库，Pandas 和 NumPy。Pandas 用于数据处理和分析，而 NumPy 用于数值计算。

读取数据

读取CSV数据：

# 读取 CSV 文件  
data = pd.read_csv('data.csv')

读取文本数据：

# 读取文本数据  
text_data = '''  
column1,column2,column3  
value1,value2,value3  
value4,value5,value6  
'''
 
# 将文本数据转换为 DataFrame  
data = pd.read_csv(text_data, sep=',', engine='python')

读取EXCEL数据：

# 读取 Excel 文件  
data = pd.read_excel('data.xlsx', engine='openpyxl')

查看数据基本信息

##Pycharm中
print(data.head())  
 
##Jupyter中
data.head()
 
##也可以使用
data.info()

data.head() 函数会返回 DataFrame 的前 5 行数据。print() 函数用于将结果输出到控制台。

查看数据集的类型

type(data)

数据类型的转换

data['column'] = data['column'].astype('int') 

使用 astype() 函数将 DataFrame 中的 column 列转换为整数类型。

DataFrame类型：

# 创建一个示例 DataFrame    
data = pd.DataFrame({    
    'column1': [1, 2, 3, 4],    
    'column2': ['A', 'B', 'C', 'D'],    
    'column3': [1.1, 2.2, 3.3, 4.4]    
})
 
# 查看 DataFrame 的数据类型    
print(data.dtype)  

不是DataFrame数据类型：

       要将不是 DataFrame 的数据转换为 DataFrame，可以使用 Pandas 中的 pd.DataFrame() 函数。

# 创建一个列表      
data_list = [      
    [1, 'A', 1.1],      
    [2, 'B', 2.2],      
    [3, 'C', 3.3],      
    [4, 'D', 4.4]      
]
 
# 将列表转换为 DataFrame      
data_df = pd.DataFrame(data_list) 

不同类型之间的转换：

       如果要将不是 DataFrame 的数据（如字典、列表等）转换为 DataFrame，可以先将其转换为列表，然后再使用 pd.DataFrame() 函数进行转换

# 创建一个字典      
data_dict = {      
    'col1': [1, 2, 3, 4],      
    'col2': ['A', 'B', 'C', 'D'],      
    'col3': [1.1, 2.2, 3.3, 4.4]      
}
 
# 将字典转换为列表      
data_list = data_dict.values()
 
# 将列表转换为 DataFrame      
data_df = pd.DataFrame(data_list)   

---

数据清洗

填充缺失值：

data.fillna(value=0, inplace=True)

fillna() 函数用于填充 DataFrame 中的缺失值。这里我们使用 value 参数设置填充值为 0，并使用 inplace=True 参数直接修改原始 DataFrame。

处理离群值：

data = data[(data['column1'] >= min_value) & (data['column1'] <= max_value)]    

使用布尔索引来筛选 DataFrame 中的行，只保留满足条件的数据。& 符号表示逻辑与操作，用于确保 column1 的值在指定范围内。

# 处理离群值
def std_data(train, i):  # data为数据集，i为列名，便于循环
    #计算标准差
    std = train[i].std()
    col = []
    for item in train[i]:
        if item < 3 * std or item > - 3 * std:
            col.append(item)
            if item > 3 * std:
                item = 3 * std
                col.append(item)
            else:
                item = -3 * std
                col.append(item)
    new_col = pd.DataFrame(col)
    train[i] = new_col
    return train
 
for i in list(train.columns):
    df= std_data(train, i)  # 离群值处理
sns.boxplot(data=df,orient='h',palette='Set2')
plt.show()

处理异常值：

data['column'] = data['column'].apply(lambda x: x if x < 100 else np.nan)  

使用 apply() 函数对名为 column 的列进行操作。apply() 函数会作用于每一行数据。我们使用 lambda 函数来检查每一行的值是否小于 100，如果是，则保留原值；否则，替换为 NaN（Not a Number，即缺失值）。

处理重复值：

data = data.drop_duplicates()  

drop_duplicates() 函数会删除 DataFrame 中的重复行。

数据的归一化

data['column'] = (data['column'] - min_value) / (max_value - min_value)    

使用 lambda 函数对 DataFrame 中的 column 列进行归一化处理。

from sklearn.preprocessing import MinMaxScaler
def normalize_columns(df2, columns):
    # 进行规范化
    scaler = MinMaxScaler()
    for col in columns:
        if df2[col].dtype != 'object':
            # 从 DataFrame 中提取出该列，并将其转换为二维数组
            col_data = df2[[col]].values
            # 调用 MinMaxScaler 对象的 fit_transform() 方法进行规范化
            normalized_data = scaler.fit_transform(col_data)
            # 将规范化后的数组转换回一维，并将其添加回 DataFrame 中
            df2[col] = normalized_data.flatten()
    return df2
 
# 2.2 数值型数据标准化
df3 = normalize_columns(df2, numerical_columns)
df3.head()

整合数据

data_merged = pd.concat([data1, data2])

使用 Pandas 的 concat() 函数将两个 DataFrame（data1 和 data2）整合为一个 DataFrame。

数据规约

data_summary = data.describe()

这里我们使用 Pandas 的 describe() 函数来计算 DataFrame 的摘要统计信息，如均值、标准差、最小值、最大值等。

总结

       通过以上步骤，我们可以完成数据预处理过程。需要注意的是，预处理过程可能会根据实际需求进行调整。在实际操作中，我们需要灵活运用各种方法来处理数据。

补充（连续与不连续数据填充）

      对于连续型数据和非连续型数据的填充，有一些常用的方法可以参考：

连续型数据：

      连续型数据是指在某个区间内可以取任意值的变量，例如身高、体重、年龄等。对于连续型数据的填充，可以考虑以下方法：

• 使用均值填充：填充缺失值时，可以使用该列的均值作为填充值。例如，对于身高这一列，如果某个人的身高缺失，可以使用所有人的平均身高来填充。
• 使用中位数填充：中位数是数值排序后位于中间位置的数，对于连续型数据，可以使用中位数来填充缺失值。例如，对于考试成绩这一列，如果某个人的成绩缺失，可以使用所有人的成绩中位数来填充。
• 使用众数填充：众数是数据中出现次数最多的数，对于一些具有规律的连续型数据，可以使用众数来填充缺失值。例如，对于某个地区的气温数据，如果某天的气温缺失，可以使用该地区历史同期的平均气温作为填充值。

非连续型数据：

      非连续型数据是指只能取有限个值的变量，例如性别、民族、血型等。对于非连续型数据的填充，可以考虑以下方法：

• 使用最常出现的类别填充：对于非连续型数据，可以使用出现次数最多的类别作为填充值。例如，对于某个地区的民族数据，如果某个人的民族缺失，可以使用该地区最常出现的民族作为填充值。
• 使用众数填充：对于一些具有规律的非连续型数据，可以使用众数来填充缺失值。例如，对于某个班级的学生性别数据，如果某个人的性别缺失，可以使用该班级男生和女生的比例来填充。
• 使用常数填充：对于一些特定的非连续型数据，可以使用常数来填充缺失值。例如，对于血型这一列，如果某个人的血型缺失，可以使用“未知”或“无法确定”等常数来填充。

      需要注意的是，对于非连续型数据的填充，要确保填充后的数据依然具有合理的逻辑性和一致性。