赞
踩
之前我们爬取了贝壳找房上的北京二手房信息,具体可以查看python爬取贝壳找房之北京二手房源信息,现在我们针对获取的数据进行分析及可视化的展示,本文代码和数据均存放在github上,链接地址:贝壳找房数据分析源码及数据,更多内容可查看个人博客:大圣的专属空间
由于我们爬取的数据有的会存在缺失及错乱,先对原始数据(beike_find_house - 副本.xlsx)进行清洗及格式化的处理,具体代码如下:
首先进行加载数据并且对其进行列名重命名:
- import pandas as pd
- import numpy as np
- from matplotlib import pyplot as plt
- import csv
- data = pd.read_excel(r"F:\0_个人学习\3_数据分析与挖掘\2_案例实战\AI之房产信息分析\beike_find_house.xlsx", header=None)
- data.columns = ['区/县','区域','小区','总价','单价','房屋户型','楼层','总面积','户型结构','套内面积','建筑类型','朝向','建筑结构','装修情况','梯户比例','供暖方式','配备电梯','产权年限','s','交易权属','u','形式','是否满五','产权形式','是否有房本','小区均价','小区建成','style','总栋数']
使用data.head()查看前五行数据,如下:
现在对数据进行清洗,因为在爬取的原始数据中有的缺失所以导致数据错乱,对其清洗比较繁琐,代码如下:
- # 数据清洗
- data['装修情况'] = data.apply(lambda x:x['建筑类型'] if ('南北' in str(x['户型结构'])) else x['装修情况'],axis=1)
-
- data['建筑结构'] = data.apply(lambda x:x['套内面积'] if ('南北' in str(x['户型结构'])) else x['建筑结构'],axis=1)
-
- data['朝向'] = data.apply(lambda x:x['户型结构'] if ('南北' in str(x['户型结构'])) else x['朝向'],axis=1)
-
- data['套内面积'] = data.apply(lambda x:'㎡' if ('南北' in str(x['户型结构'])) else x['套内面积'],axis=1)
-
- data['装修情况'] = data.apply(lambda x:x['朝向'] if ('㎡' in str(x['户型结构'])) else x['装修情况'],axis=1)
-
- data['建筑结构'] = data.apply(lambda x:x['建筑类型'] if ('㎡' in str(x['户型结构'])) else x['建筑结构'],axis=1)
-
- data['朝向'] = data.apply(lambda x:x['套内面积'] if ('㎡' in str(x['户型结构'])) else x['朝向'],axis=1)
-
- data['套内面积'] = data.apply(lambda x:'㎡' if ('㎡' in str(x['户型结构'])) else x['套内面积'],axis=1)
-
- data['套内面积'] = data.apply(lambda x:'㎡' if ('暂无数据' in str(x['套内面积'])) else x['套内面积'],axis=1)
-
- data['装修情
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。