python批量地址爬取（高德地图）_python 爬虫高德地图10001

作者：知新_RL | 2024-06-17 00:13:01

踩

python 爬虫高德地图10001

在地理分析中，通常需要自己获取经纬度数据，当地址只有几个的时候，可以直接在网页输入地址拾取经纬度即可，而当地址数量庞大，比如几十个几百个的时候，肯定是耗费时间的，这时就可以借助python与地图接口来进行经纬度的爬取。

需求：已有目标地址，需要通过地址来获取该地址的经纬度

1.高德地图接口的准备

在编辑代码之前需要先在高德地图中注册账号（已有就可以直接登录），申请密钥，才能正常爬取数据。

https://lbs.amap.com/tools/picker

注册账号登录以后，就可以进入控制台，在界面左侧点击“应用管理–我的应用”

然后点击创建新应用，第一次创建会有教程提示，跟下面一样

应用名称可以自己取，应用类型也可以看自己的需求

然后选择“添加key”

在添加key处，名称随意，但服务平台一定要选择“web服务”

然后提交，就可以获得密钥

上图中框起来的地方就是自己的密钥，要复制到代码中

2.注意：地址信息如果比较模糊的话，需要进行处理一下，在地址前加上“某市某县”，使结果更加准确。

3.代码

from urllib import request
import requests
import json
import time
from bs4 import BeautifulSoup
import pandas as pd

# 保存路径
writer = pd.ExcelWriter(r"创建的xlsx的空表格.xlsx")
# 文件格式无要求，有一列目标地址即可
add = pd.read_excel(r"自己已有的地址数据的表格.xls")
list_addr = []
list_level = []
lon = []
lat = []

for addr in add["地址列的名称"]:

    try:
        base = 'https://restapi.amap.com/v3/geocode/geo?key=自己的密钥&address=' + addr
        response = requests.get(base)
        result = json.loads(response.text)

        lon1 = result['geocodes'][0]['location'].split(",")[0]
        lat1 = result['geocodes'][0]['location'].split(",")[1]
        formatted_address = result['geocodes'][0]['formatted_address']
        level = result['geocodes'][0]['level']

        lon.append(lon1)
        lat.append(lat1)
        list_addr.append(formatted_address)
        list_level.append(level)
        print(formatted_address, lon1, lat1)
        time.sleep(0.1)

    except:

        list_level.append("无地址")
        list_addr.append("无地址")
        lon.append("无地址")
        lat.append("无地址")
    continue


# print(list1)
lists = [list_addr, list_level, lon, lat]
data2 = pd.DataFrame(lists)
data3 = data2.T
data3.columns = ["名字", "级别", "经度", "纬度"]
data3.to_excel(writer, sheet_name="数据结果", index=None)
writer._save()
print("保存完毕")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52