数据挖掘导论——综合实验_数据挖掘实验

实验目的与要求

1. 结合问题理解，描述三种适用于本题的模型。
2. 掌握数据挖掘的基本流程，包括数据分析与预处理，特征过程，模型训练与测试，实验内容文件中给出了一些可以参考的步骤，大家可以自行选择或自由发挥完成各阶段的工作。
3. 最后将预测结果文件上传到比赛网站上进行测试，将结果截图，记录分数和排名。

试验环境

本次实验采用PC机进行数据分析，采用服务器进行训练模型并进行预测。

【PC机配置】
CPU：11th Gen Intel® Core™ i7-11700K @ 3.60GHz 3.60 GHz
GPU：NVIDIA GeForce RTX 3060
操作系统：Windows 10 专业版

【服务器配置】
CPU：Intel® Xeon® CPU E5-2680 v4 @ 2.40GHz
GPU：2张NVIDIA A100
操作系统：Linux

实验内容及过程

一、数据分析

1、基础数据分析：

首先引入必须的库，然后将训练集数据和测试集数据合并，以便后面的操作。

查看前几行数据：

通过分析，以及查阅资料，可知数据中共包含31个字段，其中包含15个匿名变量，其余变量展示如下：

首先大致观察数据：

使用describe总览数据情况

通过info()来熟悉数据类型

发现除了“notRepairedDamage”之外其他都是数值特征，说明后续需要对这个特征进行数值化处理。

2、特征相关性分析：

绘制特征相关度的热度图。发现与价格相关度比较高的特征有regDate，匿名特征v_0、v_3、v_8、v_12，则在特征工程中需要重点对这些属性进行处理。

3、特征值重复度分析：

统计每个特征中不重复的值的数目。对于重复度很高的特征，后续缺失值可以考虑使用众数填充的方法来处理。

4、缺失值统计分析：

接下来，对数据缺失以及异常情况进行统计：

可以发现bodyType，fuelType，gearbox三个字段缺失较多。

进行数据可视化

5、价格分布分析：

绘制价格的直方图、密度图，可以得出，价格大致呈长尾分布，说明后续需要将数据进行正态化的处理。

正态化后：

二、数据预处理

1、缺失值处理：

通过上面数据重复度的统计，发现有缺失值的特征大多数值重复度都比较高，故使用众数填充的方法补充缺失值。

2、数值化非数值特征

非数值特征只有“notRepairedDamage”，它有‘-’，‘0.0’，‘1.0’三种值。将值‘-’用‘0.0’来代替，并把特征值转为浮点数类型。

3、异常值处理

功率特征power的范围在1 ~ 600之间，因此将超出范围的值截断在正常范围内。

发现匿名特征v_13、v_14的特征值集中分布在一定范围内，因此将超出范围的少数异常点进行截断。

三、特征工程

1、组合匿名特征：

一些匿名特征与价格的相关度比较高，说明匿名特征很重要。通过匿名特征之间的组合、匿名特征与其他特征的组合构造新特征，方便后续使用分析。

2、提取日期信息

日期信息有“regDate”、“creatDate”两个特征，通过定义日期解析函数date_tran()，将日期拆分为年、月、日。

3、特征的count编码

统计一些特征的值的数量，将特征与其值的数目构成新的特征。定义函数count_coding()统计特征值的数目。

4、日期的特征构造

基于注册日期和创建日期两个特征，构造更有意义的特征，如汽车的使用时长、注册日期与现在日期的天数、创建日期与现在日期的天数。由于得到的这些天数是离散值，需要对它们进行分桶处理。定义函数cut_group()进行分桶。

5、特征交叉

用数值特征对类别特征做统计刻画，这里选择了与价格相关度最高的几个匿名特征。定义函数cross_cat_num()进行一阶交叉。

6、特征编码

由于存在汽车名称、汽车品牌、区域编码等类别特征，而这些特征都是高基数定性的特征，因此需要对这些类别特征进行编码。常见的方法使用独热编码和标签编码的方法，但这两种方法过于简单，不易产生好的效果，而且容易消耗大量内存和训练时间，所以这里我使用了更加适合高基数定性特征的两种编码方式：平均数编码和目标编码。
①平均数编码
定义平均数编码的类，声明需要编码的特征，调用函数对训练集的特征和标签进行拟合，最后对测试集进行编码即可。

②目标编码
首先给出每种编码的默认值。这里选择了最大值、最小值、平均值这三种编码。通过与类别特征的组合进行目标编码。

③特征归一化
合并训练集和测试集，使用MinMaxScaler对数据进行归一化。

④特征降维
使用PCA对特征进行降维处理，最后将处理完的数据分配回给训练集和测试集。

四、预测模型

1、问题分析

本问题属于对二手车的交易价格的预测，属于典型的有监督回归问题，可以使用回归模型、集成方法等多种算法进行处理。

2、可用模型

针对本问题，可以使用lightgbm、catboost、neural network等模型进行训练预测。lightgbm和catboost都属于树模型，它们的优点是训练收敛速度很快，可以在训练过程中调整正则化系数和学习率，缺点是占用内存空间大、耗时比较长。本次实验我采用了neural network的方法进行训练预测，神经网络不仅在训练时可以使用小规模的数据，而且它的收敛速度的收益大，精度与树模型接近。另外加上Adam优化器等优化方案，可以降低内存消耗，提升计算效率，可以很好地处理特征。

3、训练模型与预测

①定义神经网络模型构造函数，这里我使用了六层神经网络结构

②定义学习率调整函数，每隔100个epoch，学习率减小为原来的1/10

③开始训练和预测。训练过程中使用正则化防止过拟合。同时对训练过程的误差进行分析，选择学习率下降的时机对学习率进行调整。另外使用六折交叉验证，减小过拟合。这里我还使用了Adam对梯度下降进行优化。并将loss比较小的保存为提交文件

五、调参并测试

本次预测的模型中含有epoch，batch，learnRate，以及网络层数等参数，为了获取更好的结果，我查阅资料，进行了多次调参。由于提交次数有限，我选择本地测试后loss比较小的几组进行提交，进行调优上分。

六、最终提交结果：

经过一系列的调整，发现当batch为2000，epoch为145，采用大小分别为300,64,32,8,1的五层神经网络模型时上分效果最好。从比赛网站中提交最后的预测结果，最终我的分数为400.3377分，排名为119名。

实验收获

本次实验中，我参加了阿里天池举办的《二手车价格预测比赛》，我学会了通过查阅资料与书籍，独立的进行数学分析，数据清洗并选择合适的模型进行预测。这使我对数据挖掘有了比较全面的认识，在此，我掌握了几种常见的数据分析，数据清洗的方法，学会，理解并实战了常用的预测模型。
此外，对于本次实验中所用的参数（学习率，batch，epcho等）没有一个比较合理的概念，我手动调参，并选择结果比较好的进行多次提交刷榜，最后取得了不错的成绩。