Python采集3000条北京二手房数据，看我都分析出了啥？_北京二手房交易数据分析

作者：花生_TL007 | 2024-04-19 08:43:54

踩

北京二手房交易数据分析

最近呢，对链家平台上的北京二手房数据做了个可视化分析，对目前北京的二手房交易情况有了个大致了解，最终得到一个很实在的结论：奋斗一辈子也买不到一个厕所这句话不是骗人的，是真的；关于具体分析内容请看下文

1、工具说明

本文用到的 Python 库有

Python采集3000条北京二手房数据，看我都分析出了啥？

外加百度地图 API

2、数据采集

所有数据来源于链家二手房交易平台，上面每页排列 30 条二手房数据，本文采集了前 100 页数据，每条二手房交易数据中提取标题、单价、价格、地址、年份、房间样式等字段作为可视化分析的数据来源

Python采集3000条北京二手房数据，看我都分析出了啥？

网站没有设置很强的反爬机制，爬取时用的是 requests + Cookies+ PyQuery 组合即可，最好在爬取时加条 time.sleep() 命令，隔几秒休眠一次，部分代码如下：

Python采集3000条北京二手房数据，看我都分析出了啥？

最终一共采集到 3000 条数据：

Python采集3000条北京二手房数据，看我都分析出了啥？

3、地址经纬度坐标转换

获取到的数据是地址是字符串形式(例如梵谷水郡*酒仙桥)，后面地图位置标记时需要经纬度数据，需要把所有地址转化为经纬度坐标，这里借助了百度地图 API 完成这步操作

1、百度地图 AK 申请

API 的使用需要在百度地图开放平台申请一个 AK 效验码，登录自己的百度账号，在控制台创建一个应用，

控制台面板-> 我的应用-> 创建应用

Python采集3000条北京二手房数据，看我都分析出了啥？

其他参数默认，应用名称自定义命名即可，IP 白名单填入 0.0.0.0/0，点击提交

Python采集3000条北京二手房数据，看我都分析出了啥？

以上步骤操作完之后，控制台面板会多出一个应用，就是刚刚我们建立的，

Python采集3000条北京二手房数据，看我都分析出了啥？

2、地址经纬度坐标转换

获取到你的 AK 参数之后，把 AK 和 address(中文地址) 作为参数传入下面函数中，就能获取到对应的经纬度坐标


def get_location(address,AK):
    #根据地址转化为经纬度
    try:
        url = 'http://api.map.baidu.com/geocoding/v3/?address={}&output=json&ak={}&callback=showLocation'.format(address,AK)
        res_test = requests.get(url).text
        res = re.search('\((.*?)\)', res_test).group(0).strip('(').strip(')')
        lng = json.loads(res)['result']['location']['lng']
        lat = json.loads(res)['result']['location']['lat']
        print(lng, lat)
        return lng, lat
    except Exception as e:
        print('error ---------\n')
        return None