Python——从网络数据库批量下载数据_python怎么根据下载链接批量下载

背景：转WRF的朋友们都知道第一步即下载初始场数据。常用的初始场数据有GFS、fnl、ERA5等。有的数据可以在其网站上选择将所有时次打包下载成一个文件如ERA5，fnl，有的数据则是需要一个时次一个时次下载，如GFS。我使用的即是GFS。GFS数据存储在网络数据库上，按照年、月、日、时文件夹存储。

如2017年08月26日00时的数据存储在2017文件夹下的08文件夹内的26文件夹内的00文件夹里，其文件名为 gfs170826.t00z.pgrb2f00，全路径为http://10.228.118.20/thredds/catalog/global_gfs_data/0p50/2017/08/26/00/gfs170826.t00z.pgrb2f00

以此类推，2017082606时次的路径为http://10.228.118.20/thredds/catalog/global_gfs_data/0p50/2017/08/26/06/gfs170826.t06z.pgrb2f00

因此，可通过循环来批量下载数据。

代码：使用wget循环批量下载数据

首先导入工具wget

import wget

然后通过设置循环得到不同时次数据的路径

# 获取数据的路径
dtime = ["00","06","12","18"]
for day in range(26,27):
    for i in range(4):
        url = 'http://10.228.118.20/thredds/fileServer/global_gfs_data/0p50/2017/08/'+str(day)+'/'+dtime[i]+'/gfs1708'+str(day)+'.t'+dtime[i]+'z.pgrb2f00'

最后使用wget下载数据

        #保存数据的路径
        path = "C:/Users/user/Downloads/"
        #下载数据
        wget.download(url,path)

说明：这里使用的GFS数据库网址为内网，大家可应用于自己可打开的数据库网址