astype强制转换不管用_用Python做数据分析的基本步骤（持续修改更新）

import numpy as np
import pandas as pd

import matplotlib.pyplot as plt
import missingno as msno
import seaborn as sns
sns.set()
sns.set_style('whitegrid', {'font.sans-serif':['simhei', 'Arial']})

import calendar
from datetime import datetime

%matplotlib inline
%config InlineBackend.figure_format="retina"

data = pd.read_csv(r"D:0工作数据集train_users_2.csv ")
data = pd.read_excel(r" D:0工作excel6.xlsx ")

Data.shape  #输出列和行

data.sample(5)
data.head(5)
data.tail(5)

data.dtypes  #会输出字段和字段类型

data.describe()
data. describe(include='object')

data.info()

data.columns #看一下数据集的所有字段

data.iloc[50] #随便挑一行看看数据的大致情况，以决定取舍哪些字段

sample_data=['city', 'fields.comment', 'fields.discountPrice']
data = data[col_keep] #选取想要的字段

data['fields.discountPrice'] =data['fields.discountPrice'].astype(float)
data['fields.price']=data['fields.price'].astype(float)
data['fields.soldRecentNum']=data['fields.soldRecentNum'].astype(int)

data["date"] = data.datetime.apply(lambda x: x.split()[0])

data["hour"]=data.datetime.apply(lambda x: x.split()[1].split(":")[0])

datestr=data.datetime[1].split()[0]
data["weekday"]=data.date.apply(lambda datestr:calendar.day_name[datetime.strptime(datestr,"%Y-%m-%d").weekday()])

data["month"]=data.date.apply(lambda datestr:calendar.month_name[datetime.strptime(datestr,"%Y-%m-%d").month])

data[“season_label”]=data.season.map({1:”Spring”,2:”Summer”})

data.duplicated() #按行查看缺失值
data.duplicated().sum() #缺失值总数
data.duplicated([‘a’]) #查看a列是否有重复值
any(data.duplicated())
data.drop_duplicates() #去掉重复值
df.drop(col_names_list, axis=1, inplace=True) #删除不需要的某列
data.drop_duplicates(‘a’)

msno.matrix(data,figsize=(12,5)) #matrix是矩阵的意思
msno.bar(data) #条形图
msno.heatmap(data,figsize=(16,7)) 
#heatmap热度图，当变量1和变量2的系数都是1，代表当变量1缺失，变量2也缺失。

data.isnull()     #查看所有值是否为空值
data.city.isnull()   #查看city行是否为空值
data.isnull().any()  #判断各个列是否为空值
data[data.isnull().values==True]   #可以只显示缺失值的行列，判断缺失值的位置
data.isnull().sum().sort_values(ascending=False)    #将各个字段的空值总数统计出来,倒序排列
data.isnull().any(axis=1).sum()/data.shape[0]  #缺失值所占比例

data.dropna(axis=0, how='any', subset=None, inplace=False)

data.fillna(value=None,method=None,axis=None,limit=None)

data.fillna(1111) #所有空值都填入1111
data.fillna({'一班':-60,'二班':-70,'三班':-80})   # 分别填补
data.fillna(df.mean())  # 将每一列的空值插补为该列的均值
data.fillna(method = 'ffill')   # 用上一个数值进行填补

from scipy.interpolate import interp1d  # 注意这里是数字1，不是l
num = df['一班'][df['一班'].notnull()]  # 不为空的数据
LinearInsValue1 = interp1d(linear.index, linear.values, kind='linear')
LinearInsValue1(df['一班'][df['一班'].isnull()].index)

correlation=data[["a1","a2","a3""a4","a5"]].corr()

mask = np.array(correlation) #将关系矩阵存入数组中
mask[np.tril_indices_from(mask)] = False #返回下三角的索引
fig,ax= plt.subplots()  #将plt.subplots()函数的返回值赋值给fig和ax两个变量，fig即figure
fig.set_size_inches(20,10) #设置图形尺寸
sns.heatmap(correlation, mask=mask,vmax=.8, square=True,annot=True)
plt.show()

fig=plt.figure(figsize=(6,4))  #设置画布
sns.boxplot(data=data1['count']) #设置箱型图数据
plt.title('This is my title')
plt.ylabel('aaaaaa')  #设置y坐标轴
sns.despine(bottom=True)

np.round(fans_num/fans_num.sum()*100,2) 

ax =plt.subplot(221) #布局在第一行的左图
data1=data.price
plt.hist(data1,color='indianred') #设置直方图要填入的数据和颜色
ax.set_title("民宿总体价格分布")  #设置标题
 
ax=plt.subplot(222) #布局在第一行的右图
data2 = data[data['review_scores_rating']>90].price
plt.hist(data2,color='indianred')
ax.set_title("评分高于90分的民宿价格分布")
 
ax=plt.subplot(223) #布局在第二行的左图
data3 = data[(data['review_scores_rating']<90)
&(data['review_scores_rating']>80)].price
plt.hist(data3,color='blue')
ax.set_title("评分80-90的民宿价格分布")
 
ax=plt.subplot(224) #布局在第二行的右图
data4 = data[data['review_scores_rating']<=80].price
plt.hist(data4,color='green')
ax.set_title("评分低于80的民宿价格分布")
plt.tight_layout() # tight_layout会自动调整子图参数，使之填充整个图像区域。

import folium    #导入库，可使用anaconda安装
latitude =39.87    #设置所在城市的维度，这里是北京的维度
longitude =116.51   #设置经度
limit=20
data =data.iloc[0:limit,:]   #iloc是位置索引，取出前20行
incidents =folium.map.FeatureGroup() #FeatureGroup会处理来自子图层的鼠标事件和自定义事件
for lat,lng,in zip(data.latitude,data.longitude): #for x ,y in zip(listx,listy): x和y会组成一个元组，一起运行
    incidents.add_child(
    	folium.CircleMarker(        #为地图添加圆圈标记部件
    	[lat, lng],
    	radius=10,                  #圆圈半径
        color='white',    #用于控制圆圈的颜色，默认为蓝色
        fill=True,    #当为True时，圆圈内部将被填充上色彩，默认不填充
        fill_color='red',    #圆圈内部的填充色
        fill_opacity=0.4    #圆圈内部透密度
        )
)
#有些时候我们希望我们的地图不光是死板的展示信息，
#还能根据鼠标的点击事件，来唤起更多的信息展示内容，
#即为地图添加更多的子内容，我们使用add_child()来完成各种子内容的添加
san_map = folium.Map(location=[latitude, longitude], zoom_start=10)
san_map.add_child(incidents)