【数据分析与挖掘（二）】面试题汇总(附答案)_4、如何处理缺失数据?(如果缺失的数据不可得,将采用何种手段收集?)

在求职的道路上，当你过了笔试的第一道坎，紧接着尤为重要的就是面试，它将直面公司技术主管与HR。现整理python数据分析与挖掘相关面试题如下(代码已亲试)，供自己与有需要的同仁共同学习提高。

活到老，学到老！（梭伦） 终身学习！

面试题

python数据分析

1 列举几个常用的python分析数据包及其作用

数据处理和分析：NumPy, SciPy, Pandas

机器学习：SciKit

可视化： Matplotlib, Seaborn

2 在python中如何创建包含不同类型数据的dataframe

利用pandas包的DataFrame函数的serias创建列然后用dtype定义类型：

    df = pd.DataFrame({'x': pd.Series(['1.0', '2.0', '3.0'], dtype=float), 'y': pd.Series(['1', '2', '3'],
     dtype=int)})
1
2

3 归一化

归一化方法:最小-最大规范化、零-均值规范化、小数定标规范化

作用1：消除量纲，在多指标评价体系中，由于各评价指标的性质不同，通常具有不同的量纲和数量级。当各指标间的水平相差很大时，如果直接用原始指标值进行分析，就会突出数值较高的指标在综合分析中的作用，相对削弱数值水平较低指标的作用。因此，为了保证结果的可靠性，需要对原始指标数据进行标准化处理。

作用2：提升模型的收敛速度,狭长的标量场经过标准化后变得比较圆，这样会大大提升计算的收敛速度。

4 如何处理缺失数据？(如果缺失的数据不可得，将采用何种手段收集？)

1）删除样本或删除字段

2）用中位数、平均值、众数等填充

3）插补：同类均值插补、多重插补、极大似然估计

4）用其它字段构建模型，预测该字段的值，从而填充缺失值（注意：如果该字段也是用于预测模型中作为特征，那么用其它字段建模填充缺失值的方式，并没有给最终的预测模型引入新信息）

5）onehot，将缺失值也认为一种取值

6）压缩感知及矩阵补全

5 如何避免决策树过拟合

1）限制树深

2）剪枝

3）限制叶节点数量

4）正则化项

5）增加数据

6）bagging（subsample、subfeature、低维空间投影）

7）数据增强（加入有杂质的数据）

8）早停

6 怎么做恶意刷单检测

分类问题用机器学习方法建模解决，我想到的特征有：

1）商家特征：商家历史销量、信用、产品类别、发货快递公司等

2）用户行为特征：用户信用、下单量、转化率、下单路径、浏览店铺行为、支付账号

3）环境特征（主要是避免机器刷单）：地区、ip、手机型号等

4）异常检测：ip地址经常变动、经常清空cookie信息、账号近期交易成功率上升等

5）评论文本检测：刷单的评论文本可能套路较为一致，计算与已标注评论文本的相似度作为特征

6）图片相似度检测：同理，刷单可能重复利用图片进行评论

7 讲下 K-Means算法的原理及改进，遇到异常值怎么办？评估算法的指标有哪些？

1）k-means原理：选k个点开始作为聚类中心，然后剩下的点根据距离划分到类中；找到新的类中心；重新分配点；迭代直到达到收敛条件或者迭代次数。
优点是快；缺点是要先指定k，同时对异常值很敏感。

在最小化函数误差的基础上将数据划分为预定的类树K,采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。

< size=5>2)聚类方法主要有：

a. 层次聚类

b. 划分聚类：kmeans

c. 密度聚类

d. 网格聚类

e. 模型聚类：高斯混合模型

3）改进：

a. kmeans++：初始随机点选择尽可能远࿰