Kaggle 泰坦尼克号生存分析(数据概览和缺失值处理部分）_泰坦尼克号缺失值处理

Kaggle 泰坦尼克号生存分析

数据概览

#导入pandas库方便数据读取和预处理，导入os库方便修改工作路径
import os
import pandas as pd
1
2
3

#读取数据
os.chdir("F:/titianic_data")
train = pd.read_csv("raw/train.csv")
test = pd.read_csv("raw/test.csv")
1
2
3
4

train.shape
1

(891, 12)
1

train.head(3)#默认打印前5行
1

#查看有无缺失值
train.isnull().sum()
1
2

PassengerId      0
Survived         0
Pclass           0
Name             0
Sex              0
Age            177
SibSp            0
Parch            0
Ticket           0
Fare             0
Cabin          687
Embarked         2
dtype: int64
1
2
3
4
5
6
7
8
9
10
11
12
13

#查看数据维度和类型
train.info()
1
2

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
PassengerId    891 non-null int64
Survived       891 non-null int64
Pclass         891 non-null int64
Name           891 non-null object
Sex            891 non-null object
Age            714 non-null float64
SibSp          891 non-null int64
Parch          891 non-null int64
Ticket         891 non-null object
Fare           891 non-null float64
Cabin          204 non-null object
Embarked       889 non-null object
dtypes: float64(2), int64(5), object(5)
memory usage: 83.6+ KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

#描述性统计分析
train.describe()
1
2

#查看字段的特征数量
train.nunique()
1
2

PassengerId    891
Survived         2
Pclass           3
Name           891
Sex              2
Age             88
SibSp            7
Parch            7
Ticket         681
Fare           248
Cabin          147
Embarked         3
dtype: int64
1
2
3
4
5
6
7
8
9
10
11
12
13

特征类型较少的,可视化分析

（1）定类数据：Embarked,Parch,Pclass,Sex,SibSp

（2）连续型数据：Age,Fare

特征类型较多的，后续处理再进行分析

（1）Name,Ticket,Cabin.

#合并train.csv以及test.csv进行下一步的数据缺失值处理
alldata = pd.concat([train,test],axis=0)
1
2

缺失值处理

缺失值的处理方式有多种：

1.用某些集中趋势度量（均值、众数）进行填充

2.用统计模型来预测缺失值，例如决策树、随机森林RF、回归模型

3.删除缺失值

4.保留缺失值

第一个字段：Embarked

#Embarked字段

#观察数据的总体情况
print(train['Embarked'].value_counts())#训练集

print(test['Embarked'].value_counts())#测试集
1
2
3
4
5
6

S    644
C    168
Q     77
Name: Embarked, dtype: int64
S    270
C    102
Q     46
Name: Embarked, dtype: int64
1
2
3
4
5
6
7
8

对于Embarked类别型的特征字段，采用频率最高的特征值进行填充

# 忽略警告提示
import warnings
warnings.filterwarnings('ignore')
1
2
3

alldata.Embarked[alldata.Embarked.isnull()] = alldata.Embarked.dropna().mode().values
#还有三种表达方式
#alldata['Embarked'].fillna('S',inplace=True)
#alldata.loc[alldata.Embarked.isnull(),'Embarked']='S'
#alldata['Embarked'] = alldata['Embarked'].fillna(alldata['Embarked'].mode()[0])#通常默认使用第一个众数值
1
2
3
4
5

print(alldata['Embarked'].isnull().sum())#查看是否填补成功
1

0
1

第二个字段：Cabin

Cabin缺失比较严重，在train数据集中，891个观测值有687条观测值缺失，缺失比例达到 77%

处理这类数据方法之一是用一种特殊的字符来填充缺失值：把缺失值当成一类去对待，认为缺失本身是一种信息，应该保持它的独立性。

但这种方法比较适合类别变量，若要对连续变量使用该方法，需要首先对连续变量离散化，变成和类别变量一样的形式。

客舱位缺失可能代表这些人没有舱位，不妨使用’NO’来填充

alldata['Cabin'] = alldata['Cabin'].fillna('NO')
#其他表达方式
#alldata.loc[alldata.Cabin.isnull(),'Cabin'] = 'NO'
#alldata['Cabin'][alldata.Cabin.isnull()] = 'NO'
1
2
3
4

print(alldata['Cabin'].isnull().sum())#查看是否填补成功
1

0
1

第三个字段：Age

Age这个变量看上去比较重要，下面介绍几种填充方式

（1）采用与头衔相对应的年龄中位数进行填补

#不同方法得到结果有所不同，将数据拷贝一份，以防混淆不同方式得到的结果
title_alldata = alldata.copy()
1
2

train数据集中，891个观测值，姓名字段有891个不同的结果，直接拿来使用，没太大意义，但是值得注意的是姓名中有头衔存在，头衔又是身份地位的象征

有可能身份地位越高，越容易存活

import re
1

#提取头衔
title_alldata['title'] = title_alldata.Name.apply(lambda x:re.search('\w+\.',x).group()).str.replace('.','')
#查看一共有多少种不同的结果
title_alldata.title.unique()
1
2
3
4

array(['Mr', 'Mrs', 'Miss', 'Master', 'Don', 'Rev', 'Dr', 'Mme', 'Ms',
       'Major', 'Lady', 'Sir', 'Mlle', 'Col', 'Capt', 'Countess',
       'Jonkheer', 'Dona'], dtype=object)
1
2
3

头衔的解读：

Mr:既可以用于已婚男性，也可以用于未婚男性

Mrs:已婚女士

Miss:称呼未婚女士，有时也用于自己不了解的年龄较大的妇女

Master:男童或男婴

Don:大学老师

Rev:牧师

Dr:医生或者博士

Mme:女士

Ms:既可以用于已婚女士也可以用于未婚女士

Major:陆军少校

Lady:公侯伯爵的女儿

Sir:上级长官

Mile:小姐

Col:上校（常用于陆空军）

Capt:船长

Countess:伯爵夫人

Jonkheer:乡绅

头衔太多，最终决定再次分类，查看每个头衔与性别对应的人数

title_sex = pd.crosstab(title_alldata.title,title_alldata.Sex)
title_sex.T
1
2

决定将少数部分归为’Rare’（中文翻译：稀少的）

‘Mlle’、'Ms’用’Miss’代替

将’Mme’用’Mrs’代替

title_alldata['title'] = title_alldata['title'].replace(['Capt','Col','Countess','Don','Dr','Jonkheer','Lady','Major','Rev','Sir'],'Rare')
title_alldata['title'] = title_alldata['title'].replace(['Mlle','Ms'],'Miss')
title_alldata['title'] = title_alldata['title'].replace('Mme','Mrs')
#查看再次分类后，还有多少种不同的结果
title_alldata.title.unique()
1
2
3
4
5

array(['Mr', 'Mrs', 'Miss', 'Master', 'Rare', 'Dona'], dtype=object)
1

查看头衔与幸存的结果

import matplotlib.pyplot as plt
1

#绘制柱状图
title_survived = pd.crosstab(title_alldata['title'],title_alldata['Survived'])
title_survived.plot(kind='bar')
plt.xticks(np.arange(len(title_survived.index)),title_alldata.index,rotation = 360)
plt.title('Survived Status By Title')
1
2
3
4
5

Text(0.5,1,'Survived Status By Title')
1

幸存机会大对应的头衔：

Master,Miss,Mrs

幸存机会小对应的头衔：

Mr,Rare

train数据集中Age缺失值有177个，缺失比例约为20%，缺失数据也不少，而且Age在本次分析中比较重要（副船长当时坚持“小孩和女士先走”），因此缺失值不能删除也不能保留缺失值

方式之一：采用与头衔相对应的年龄中位数进行填补

#求出每个头衔对应的年龄中位数
age_title_median = title_alldata.groupby('title')['Age'].median()
#在当前表设置title为索引
title_alldata.set_index('title',inplace=True)
#在当前表填充缺失值
title_alldata.Age.fillna(age_title_median,inplace=True)
#重置索引
title_alldata.reset_index(inplace=True)
1
2
3
4
5
6
7
8

print(title_alldata['Age'].isnull().sum())
1

0
1

（2）采用均值进行填补

mean_alldata = alldata.copy()
1

print(alldata['Age'].isnull().sum())
1

263
1

mean_alldata['Age']=mean_alldata['Age'].fillna( mean_alldata['Age'].mean() )
1

print(mean_alldata['Age'].isnull().sum())
1

0
1

参考资料

http://url.cn/52f3eDc

http://www.cnblogs.com/star-zhao/p/9801196.html

https://mp.weixin.qq.com/s/lKEma5gAYvNw4lvEMu621g

https://www.kaggle.com/c/titanic/data

《Python机器学习及实战_从零开始通往KAGGLE之路》

如有违反或冒犯，请联系作者删除，QQ：2168849535。