人工智能入门实战：特征选择与降维技术_人工智能 特征降维

1.背景介绍

数据集的大小往往越来越大，信息量也随之增加，数据的有效性和质量也逐渐受到重视。如何有效地从海量的数据中提取有效、具有代表性的信息是非常重要的。而特征工程则是这一工作的一个关键环节，其目的在于选择、转换或删除原始数据集中的无用或者不相关的信息，使得数据更加适合建模和分析。

特征工程通常包括以下三个步骤：

1. 数据收集与处理：进行数据清洗、缺失值填充、异常值的处理等。
2. 特征选择：即选择那些对预测目标有用的特征。常见的方法有：
   • 基于模型评估（如AIC、BIC）的特征筛选法：根据某种指标对所有可能的特征子集进行评估，并选择评分最高的特征子集作为最终的模型训练特征。
   • 基于信息熵的特征筛选法：通过计算特征的互信息熵，选择具有最大信息量的特征子集作为最终的模型训练特征。
   • 基于特征系数的特征筛选法：通过计算特征与预测目标的相关系数，选择具有最强关联关系的特征子集作为最终的模型训练特征。
   • 基于相似性的特征筛选法：通过计算不同特征之间的相似性，选择相似性最高的特征子集作为最终的模型训练特征。
3. 降维：将多维特征转化为一组较低维度空间中的相关特征。常见的方法有：
   • PCA（主成分分析）：保留原始变量中的最大方差所对应的主成分，去除其他成分。
   • LDA（线性判别分析）：保留输入变量之间的最大线性相关性所对应的主成分，去除其他成分。
   • t-SNE（t-Distributed Stochastic Neighbor Embedding）：将高维数据映射到二维或三维空间内。