赞
踩
- import re #正则表达式 匹配
- import requests
- import csv
- import os
-
-
- def get_text(year):
- url = "https://www.shanghairanking.cn/_nuxt/static/1647508426/rankings/arwu/{}/payload.js".format(year)
- print(url)
- headers = {
- 'Referer': 'https://www.shanghairanking.cn/rankings/arwu/{}'.format(year),
- 'User-Agent': 'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/93.0.4577.63Safari/537.36Edg/93.0.961.38'
- }#防反爬虫
- response = requests.get(url, headers=headers)#向网站发起请求,并获取响应对象参数
- return response.text
-
- def get_dict_value(key):
- try:
- result = dict_value[key].replace('"', "")
- except:
- result = key.replace('"', "")
- return result
-
- def printUnivList(ulist, year):
- os.mkdir('./{}'.format(year))#创建目录对应一个年份
- f = open('./{}/{}.csv'.format(year, year), 'w', encoding='utf-8', newline="")
- csv_writer = csv.writer(f)
- csv_writer.writerow(["排名", "学校名称", "国家", "国家排名", "总分", "校友排名"])#表头
- csv_writer.writerows(ulist)#多行写入列表
- f.close()
-
- for year in range(2003, 2022):#循环从2003至2022年
- res_str = get_text(str(year))#获得对应年份的源代码,str(year)将其作为字符串
- repx = re.compile(r'univNameCn:"(.*?)",univUp.*?region:(.*?),regionRanking:(.*?),score:(.*?),indData:{"\d+?":(.*?),"')
- hash_str = repx.findall(res_str, re.S)#re.s可匹配换号符
- #正则表达式匹配对应数据compile()与findall()一起使用,返回一个列表
-
- parameter = re.findall(r'}\((.*?)\)\)\);', res_str)[0].replace('"', "").split(',')
- #replace去掉字符串,split用,分隔成列表
-
- parameter_name = re.findall(r'\(function\((.*?)\){', res_str)[0].split(",")
-
- dict_value = dict(zip(parameter_name, parameter))
- #将parameter_name, parameter合并
-
- res_list = []
- for j in range(len(hash_str)):
- i = hash_str[j]
-
- rank = j + 1 # 排名
- name = i[0] # 校名
- country = get_dict_value(i[1]) # 国家
- regional_ranking = get_dict_value(i[2]) # 地区排名
- score = get_dict_value(i[3]) # 成绩
- alumni_award = get_dict_value(i[4]) # 校友获奖
- res_list.append([rank, name, country, regional_ranking, score, alumni_award])
- #将一所大学全部数据放入`一个列表里
-
- printUnivList(res_list, year)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。